[論文レビュー] Reverse engineering recurrent networks for sentiment classification reveals line attractor dynamics

Niru Maheswaranathan, Alex H. Williams+3 more|arXiv (Cornell University)|Jun 25, 2019

Neural Networks and Applications被引用数 41

ひとこと要約

本論文は感情分析のために訓練されたRNNを分析し、線形化されたダイナミクスが単語からの証拠を統合して感情予測を駆動する低次元のラインアトラクターへ収束することを、アーキテクチャを跨いで示している。

ABSTRACT

Recurrent neural networks (RNNs) are a widely used tool for modeling sequential data, yet they are often treated as inscrutable black boxes. Given a trained recurrent network, we would like to reverse engineer it--to obtain a quantitative, interpretable description of how it solves a particular task. Even for simple tasks, a detailed understanding of how recurrent networks work, or a prescription for how to develop such an understanding, remains elusive. In this work, we use tools from dynamical systems analysis to reverse engineer recurrent networks trained to perform sentiment classification, a foundational natural language processing task. Given a trained network, we find fixed points of the recurrent dynamics and linearize the nonlinear system around these fixed points. Despite their theoretical capacity to implement complex, high-dimensional computations, we find that trained networks converge to highly interpretable, low-dimensional representations. In particular, the topological structure of the fixed points and corresponding linearized dynamics reveal an approximate line attractor within the RNN, which we can use to quantitatively understand how the RNN solves the sentiment analysis task. Finally, we find this mechanism present across RNN architectures (including LSTMs, GRUs, and vanilla RNNs) trained on multiple datasets, suggesting that our findings are not unique to a particular architecture or dataset. Overall, these results demonstrate that surprisingly universal and human interpretable computations can arise across a range of recurrent networks.

研究の動機と目的

• ダイナミカルシステム分析を用いて、訓練済みRNNが文書レベルの感情分析をどのように解決するかを理解する。
• RNNのダイナミクスにおける低次元構造と不動点を特定する。
• ラインアトラクターのダイナミクスがアーキテクチャやデータセットを超えて一般化するかを評価する。

提案手法

• IMDB、Yelp、SSTデータセットで4つのRNNアーキテクチャ（LSTM、GRU、Update Gate RNN、vanilla RNN）を訓練する。
• q = (1/N) ||h - F(h,0)||^2を最小化して近似的不動点を特定し、ネットワーク状態分布からサンプリングする。
• 固定点の周りでダイナミクスを線形化して、h_t ≈ h* + J_rec (h_{t-1}-h*) + J_inp x_t を得る。
• J_rec の固有値/固有ベクトルを計算して、遅いモードとメモリ時間定数を分析する。
• 線形化モデルを用いて入力の影響を予測し、完全な非線形ダイナミクスと比較する。

実験結果

リサーチクエスチョン

• RQ1 訓練済みRNNは感情分類中に低次元のダイナミクスを示すのか。
• RQ2 訓練済みRNNのダイナミクスの不動点は、出力方向に整列したラインアトラクターに沿って配置されているのか。
• RQ3 異なるRNNアーキテクチャと感情データセット全体で遅い統合モードが存在するのか。
• RQ4 不動点近傍の線形化ダイナミクスは、解釈のために非線形RNN挙動を十分に近似できるのか。

主な発見

• RNNは訓練後にほとんどの分散を捉える上位主成分を含む低次元のサブスペースを探索する。
• 不動点は、ほぼ1次元の多様体を形成し、読み出し重みと整列する。
• RNNは数百から千単位のトークンにわたって持続する遅いモードを伴う、限界安定な不動点を示す。
• 最上位の統合モードは不動点多様体と整列しており、線形化された入力が語の価値に基づいて状態をラインアトラクターに沿って押し動かす。
• 正・負の語はラインアトラクター上で反対方向へ動かし、ニュートラルな語は影響が小さい。
• 線形化ダイナミクスは小さな1ステップ誤差で非線形系を近似し、このメカニズムはYelp、IMDB、SSTにわたりLSTM、GRU、UGRNN、vanilla RNNで一般化する。