[논문 리뷰] Reverse engineering recurrent networks for sentiment classification reveals line attractor dynamics

Niru Maheswaranathan, Alex H. Williams외 3명|arXiv (Cornell University)|2019. 06. 25.

Neural Networks and Applications인용 수 41

한 줄 요약

이 논문은 감정 분석을 위한 훈련된 RNN을 분석하여, 이들이 단어에서 증거를 통합해 감정 예측을 구동하는 선형화된 역학으로 수렴하며, 다양한 아키텍처에서 낮은 차원의 line attractor에 수렴한다는 것을 보여준다.

ABSTRACT

Recurrent neural networks (RNNs) are a widely used tool for modeling sequential data, yet they are often treated as inscrutable black boxes. Given a trained recurrent network, we would like to reverse engineer it--to obtain a quantitative, interpretable description of how it solves a particular task. Even for simple tasks, a detailed understanding of how recurrent networks work, or a prescription for how to develop such an understanding, remains elusive. In this work, we use tools from dynamical systems analysis to reverse engineer recurrent networks trained to perform sentiment classification, a foundational natural language processing task. Given a trained network, we find fixed points of the recurrent dynamics and linearize the nonlinear system around these fixed points. Despite their theoretical capacity to implement complex, high-dimensional computations, we find that trained networks converge to highly interpretable, low-dimensional representations. In particular, the topological structure of the fixed points and corresponding linearized dynamics reveal an approximate line attractor within the RNN, which we can use to quantitatively understand how the RNN solves the sentiment analysis task. Finally, we find this mechanism present across RNN architectures (including LSTMs, GRUs, and vanilla RNNs) trained on multiple datasets, suggesting that our findings are not unique to a particular architecture or dataset. Overall, these results demonstrate that surprisingly universal and human interpretable computations can arise across a range of recurrent networks.

연구 동기 및 목표

• 훈련된 RNN이 동역학 시스템 분석을 사용해 문서 수준의 감정 분석을 어떻게 해결하는지 이해한다.
• RNN 동역학에서 저차원 구조와 고정점을 식별한다.
• line attractor 역학이 아키텍처와 데이터 세트 전반에 걸쳐 일반화되는지 평가한다.

제안 방법

• IMDB, Yelp, SST 데이터세트에서 네 가지 RNN 아키텍처(LSTM, GRU, Update Gate RNN, vanilla RNN)를 훈련한다.
• q = (1/N) ||h - F(h,0)||^2 를 최소화하고 네트워크 상태 분포에서 샘플링하여 근사 고정점을 식별한다.
• Linearize dynamics around fixed points to obtain h_t ≈ h* + J_rec (h_{t-1}-h*) + J_inp x_t.
• Compute eigenvalues/eigenvectors of J_rec to analyze slow modes and memory time constants.
• Use the linearized model to predict the effect of inputs and compare with the full nonlinear dynamics.

실험 결과

연구 질문

• RQ1 훈련된 RNN은 감정 분류 중에 저차원 동역학을 보이는가?
• RQ2 훈련된 RNN 동역학의 고정점이 line attractor를 따라 읽기(readout) 방향과 정렬되게 배열되는가?
• RQ3 다른 RNN 아키텍처와 감정 데이터 세트에서 느린 통합 모드가 존재하는가?
• RQ4 고정점 근처의 선형화된 역학이 해석을 위해 비선형 RNN 동작을 충분히 근사할 수 있는가?

주요 결과

• RNN은 훈련 후 상위 주성분이 대부분의 분산을 포착하는 저차원 부분 공간을 탐색한다.
• 고정점은 읽기 가중치(readout weights)와 정렬된 대략 1D 매니폴드를 형성한다.
• RNN은 수백에서 수천 토큰에 걸쳐 지속되는 느린 모드를 가진 한계적으로 안정한 고정점을 보인다.
• 상위 통합 모드는 고정점 매니드와 정렬되어, 선형화된 입력이 단어의 어조(valence)에 따라 상태를 line attractor를 따라 밀도록 한다.
• 긍정적 단어와 부정적 단어가 line attractor를 따라 반대 방향으로 움직이고, 중립적 단어는 영향이 더 작다.
• 선형화된 역학은 작은 한 단계 오차로 비선형 시스템을 근사하며, 이 메커니즘은 Yelp, IMDB, SST 전반에서 LSTM, GRU, UGRNN, vanilla RNN에 걸쳐 일반화된다.