[論文レビュー] The geometry of integration in text classification RNNs

Kyle Aitken, Vinay Ramasesh+4 more|arXiv (Cornell University)|Oct 28, 2020

Neural Networks and Applications参考文献 17被引用数 4

ひとこと要約

この論文は、多クラステキスト分類のための再帰的ニューラルネットワーク（RNNs）が、隠れ状態空間におけるアトラクタ多様体を通じて低次元で幾何学的駆動の統合機構を実装していることを明らかにする。これらの多様体の次元と形状—カテゴリー的分類では単体、順序付き分類では平面、マルチラベルではハイパーキューブに類似—はデータセット構造に依存し、Nクラス分類では次元がN−1に等しく、クラス相関によって低減可能である。これは単語カウント統計が予測する通りである。

ABSTRACT

Despite the widespread application of recurrent neural networks (RNNs) across a variety of tasks, a unified understanding of how RNNs solve these tasks remains elusive. In particular, it is unclear what dynamical patterns arise in trained RNNs, and how those patterns depend on the training dataset or task. This work addresses these questions in the context of a specific natural language processing task: text classification. Using tools from dynamical systems analysis, we study recurrent networks trained on a battery of both natural and synthetic text classification tasks. We find the dynamics of these trained RNNs to be both interpretable and low-dimensional. Specifically, across architectures and datasets, RNNs accumulate evidence for each class as they process the text, using a low-dimensional attractor manifold as the underlying mechanism. Moreover, the dimensionality and geometry of the attractor manifold are determined by the structure of the training dataset; in particular, we describe how simple word-count statistics computed on the training dataset can be used to predict these properties. Our observations span multiple architectures and datasets, reflecting a common mechanism RNNs employ to perform text classification. To the degree that integration of evidence towards a decision is a common computational primitive, this work lays the foundation for using dynamical systems techniques to study the inner workings of RNNs.

研究の動機と目的

• 二値センチメント分類を超えて、多クラステキスト分類におけるRNNの動的メカニズムを理解すること。
• 多様なテキスト分類タスクにおいて、訓練済みRNNに低次元で解釈可能な動的システムがどのように出現するかを特定すること。
• RNNの隠れ状態におけるアトラクタ多様体の幾何学的性質と次元を特徴づけ、トレーニングデータセット統計と結びつけること。
• 単純な単語カウント統計が、クラス相関によるアトラクタ多様体次元の低減を予測できることを示すこと。
• 自然データで観察された動的挙動を再現するように設計された合成データセットを用いて、発見を検証すること。

提案手法

• 著者らは、自然および合成データセットを用いた3種類の分類タイプ（カテゴリー的、順序付き、マルチラベル）において、訓練済みRNN（GRUsおよびLSTMs）を分析する。
• 隠れ状態軌道を含む低次元部分空間を特定し、ネットワークダイナミクスの線形化により、ほぼ安定な固定点の多様体を同定する。
• アトラクタ多様体の幾何学的性質は、固定点の分布から推定され、隠れ状態の主成分分析を用いて検証される。
• トレーニングデータの単語カウント統計を計算し、特に相関のあるクラスペアに対して、アトラクタ多様体の次元と形状を予測する。
• 観察された動的挙動を再現できるように、制御されたクラス相関を持つ合成データセットを構築する。
• 多様体内の点の遅さを定量化するためのスピード関数を定義し、ほぼ安定な領域を同定する。

実験結果

リサーチクエスチョン

• RQ1 多クラステキスト分類におけるRNNの動的パターンは、二値センチメント分類におけるそれらとどのように異なるか？
• RQ2 異なるテキスト分類タスクにおけるRNNのアトラクタ多様体の次元と幾何学的構造は、何によって決定されるか？
• RQ3 訓練データセットの単純な統計から、アトラクタ多様体の幾何学的性質と次元をどの程度まで予測できるか？
• RQ4 データセット内のクラス相関は、統合多様体の形状と次元にどのように影響するか？
• RQ5 制御されたクラス相関を持つ合成データセットを設計することで、自然データと同等の動的挙動を再現できるか？

主な発見

• Nクラスのカテゴリー的分類では、RNNは(N−1)次元の単体アトラクタ多様体を形成し、その次元はネットワークが保持するスカラー証拠量の数を反映している。
• 順序付き分類タスクでは、アトラクタ多様体は平面幾何学をとる。これはクラスの順序構造と整合的である。
• マルチラベル分類では、アトラクタ多様体はハイパーキューブに類似した幾何学をとる。これはクラスの独立ラベル付けを反映している。
• クラス相関、特に異なるクラスに対する単語証拠の負の相関—が、アトラクタ多様体の有効次元を低減させ、その低減は単語カウント統計から予測可能である。
• 実データセット（例：AG News 4クラスデータセット）におけるアトラクタ多様体の幾何学的性質は、相関に基づく予測と一致する。例えば、「スポーツ」と「ビジネス」の強い負の相関は、多様体内での最大の反発を引き起こす。
• 制御されたクラス相関を持つ合成データセットは、自然データと同等の多様体幾何学的性質と動的挙動を再現し、メカニズムの頑健性を確認する。