[논문 리뷰] Brief technical note on linearizing recurrent neural networks (RNNs) before vs after the pointwise nonlinearity

Marino Pagan, Adrian Valente외 2명|arXiv (Cornell University)|2023. 09. 07.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 활성화 공간(비선형성 이전)과 활동 공간(비선형성 이후)에서 순환 신경망(RNN)의 선형화를 비교하며, 두 선형화 방식은 대각 행렬을 통한 이득 스케일링을 통해 관련되어 있지만, 맥락에 따라 달라지는 입력 조절 방식을 어떻게 반영하는지가 다르다는 점을 보여준다. 주요 발견은 맥락에 따라 달라지는 입력 조절—인지적 맥락 효과를 모델링하는 데 핵심적인 요소—가 활성화 공간 선형화에서는 관찰되지 않고, 활동 공간 선성화에서만 관찰된다는 것이다.

ABSTRACT

Linearization of the dynamics of recurrent neural networks (RNNs) is often used to study their properties. The same RNN dynamics can be written in terms of the ``activations" (the net inputs to each unit, before its pointwise nonlinearity) or in terms of the ``activities" (the output of each unit, after its pointwise nonlinearity); the two corresponding linearizations are different from each other. This brief and informal technical note describes the relationship between the two linearizations, between the left and right eigenvectors of their dynamics matrices, and shows that some context-dependent effects are readily apparent under linearization of activity dynamics but not linearization of activation dynamics.

연구 동기 및 목표

• 단위 활성화(비선형성 이전)와 활동(비선형성 이후)을 기반으로 RNN 동역학을 선형화하는 방식의 차이를 명확히 하는 것.
• 비선형성의 도함수로부터 유도된 대각 이득 행렬을 통해 두 선형화 방식 간의 수학적 관계를 확립하는 것.
• 맥락에 따라 달라지는 입력 조절—단위 이득의 변화에서 기인하는 것—이 두 선형화 프레임워크에서 어떻게 다르게 표현되는지 조사하는 것.
• 특정 역학적 효과, 예를 들어 맥락에 따라 달라지는 입력 조절이 활동 공간 선형화에서만 감지될 수 있음을 보여주는 것.
• 특히 맥락에 따라 달라지는 네트워크 모델링에서 관심 있는 역학적 성질에 따라 적절한 선형화 프레임워크를 선택하는 데 도움을 주는 것.

제안 방법

• 비선형성 g 이전의 활성화(x)와 이후의 활동(r)을 기반으로 RNN 동역학을 두 가지 등가 표현으로 수식화하는 것.
• 두 표현에 대해 고정점 주위에서 선형화된 동역학을 유도하여, 활성화 공간에서는 동역학 행렬 Wg′(x₀)을, 활동 공간에서는 g′(x₀)W를 각각 얻는 것.
• 두 선형화 방식을 연결하기 위해 대각 이득 행렬 D = diag(g′(x₀))를 도입하며, 활성화 공간 동역학 행렬은 WD, 활동 공간 동역학 행렬은 DW임을 보여주는 것.
• 두 선형화된 동역학 간의 고유값 분석을 수행하여, DW의 우측 고유벡터가 D⁻¹을 통해 WD의 우측 고유벡터로 스케일링됨을 증명하는 것.
• 고정점과 이득 행렬 D_R가 맥락 벡터 c_R에 의해 변화하는 맥락에 따라 달라지는 RNN에 이 프레임워크를 적용하는 것.
• 활동 공간 선형화에서는 효과적 입력이 D_R에 의해 스케일링됨(D_R u)으로 인해 맥락에 따라 달라지는 입력 조절이 명확히 드러나지만, 활성화 공간 선형화에서는 입력이 u로 유지되어 맥락과 무관하므로, 맥락에 따라 달라지는 입력 조절을 포착하지 못한다는 것을 보여주는 것.

실험 결과

연구 질문

• RQ1 비선형성 이전과 이후에서 선형화된 RNN의 동역학은 어떻게 다를까?
• RQ2 활성화 공간 선형화와 활동 공간 선형화에서 유도된 동역학 행렬 간의 수학적 관계는 무엇인가?
• RQ3 두 선형화된 동역학 행렬의 좌우 고유벡터는 어떻게 관련되어 있는가?
• RQ4 맥락에 따라 달라지는 외부 입력의 조절이 두 선형화 프레임워크 모두에서 관찰될 수 있는가?
• RQ5 왜 활동 공간 선형화가 RNN에서 맥락에 따라 달라지는 입력 조절을 분석하는 데 더 적합한가?

주요 결과

• 활동 공간 선형화(WD)와 활동 공간 선형화(DW)의 선형화된 동역학은 D = diag(g′(x₀))라는 대각 스케일링 행렬을 통해 관련되어 있으며, 이는 두 시스템이 단위별 이득 변환을 제외하고는 동일한 것을 의미한다.
• 활동 공간 행렬 DW의 우측 고유벡터는 D⁻¹을 통해 활성화 공간 행렬 WD의 우측 고유벡터로 변환되며, 좌측 고유벡터는 s_x = D⁻¹s_r를 만족하여 좌우 고유벡터 간의 내적을 유지한다.
• 동일한 입력 벡터 u가 서로 다른 맥락에서 D_R에 의해 효과적으로 스케일링되는 맥락에 따라 달라지는 입력 조절은 활동 공간 선형화에서만 관찰되며, 이 경우 입력은 D_R u가 된다.
• 반면 활성화 공간 선형화에서는 입력이 맥락과 무관하게 u로 유지되므로, 맥락에 따라 달라지는 입력 조절을 포착하지 못한다.
• 이 차이는 맥락에 따라 달라지는 입력 효과를 연구하기 위해서는 활동 공간 선형화가 필수적임을 시사하며, 이는 인지 모델링 및 워킹 메모리 작업에서 관찰되는 현상과도 부합한다.
• 논문은 두 선형화 방식이 동일한 기저 궤적을 기술하지만, 맥락에 따라 달라지는 역학, 특히 입력 조절을 분석할 경우 상호 교환 가능하지 않음을 결론짓는다.