[論文レビュー] The emergence of number and syntax units in LSTM language models

Yair Lakretz, Germán Kruszewski+4 more|arXiv (Cornell University)|Mar 18, 2019

Natural Language Processing Techniques参考文献 24被引用数 50

ひとこと要約

本論文はLSTM言語モデルを単一ニューロンレベルで分析し、二つの専用の長距離数値ユニットと構文ユニットを特定し、LSTMs が表層的なヒューリスティックを超えて主語–動詞一致のための構造感受性を持つメカニズムを学習することを示している。

ABSTRACT

Recent work has shown that LSTMs trained on a generic language modeling objective capture syntax-sensitive generalizations such as long-distance number agreement. We have however no mechanistic understanding of how they accomplish this remarkable feat. Some have conjectured it depends on heuristics that do not truly take hierarchical structure into account. We present here a detailed study of the inner mechanics of number tracking in LSTMs at the single neuron level. We discover that long-distance number information is largely managed by two `number units'. Importantly, the behaviour of these units is partially controlled by other units independently shown to track syntactic structure. We conclude that LSTMs are, to some extent, implementing genuinely syntactic processing mechanisms, paving the way to a more general understanding of grammatical encoding in LSTMs.

研究の動機と目的

• LSTM言語モデルが明示的な言語的先験知なしに文法的数と長距離依存関係をどのように追跡するかを調査する。
• 数情報が局所的に、まばらに、またはユニット全体に分散して格納されるかを決定する。
• 構文関連ユニットを特定し、それらと数ユニットの相互作用が一致を調整する様子を明らかにする。
• 構造が特徴伝播にどのように影響するかを理解するために、構文ユニットと数ユニット間の結合を検証する。

提案手法

• 数値特定のファインチューニングを行わず、Wikipediaデータで訓練された事前学習済みの650-650-650 LSTM言語モデルを使用する。
• 内部表現を評価するため、長距離数一致タスク（NA-tasks）と統語的深さ予測データセットを検証する。
• 候補の数ユニットの必須性を検証するため、単一ユニットのアブレーションを実施する。
• ゲートとセルのダイナミクスを分析し、提案された数ユニットがどのように依存関係を横断して数情報を蓄積・放出するかを特徴づける。
• 隠れ状態から統語的深さをデコードして構文ユニットを同定し、アブレーションを通じて因果効果を検証する。
• 構文ユニットと数ユニット間の求心性・遠心性の結合を検査し、記憶ゲートの制御信号を推測する。

実験結果

リサーチクエスチョン

• RQ1 LSTM言語モデルは未注釈のコーパスデータから構造感受性のある数一致を誘発できるか。
• RQ2 長距離依存のための専用の数コード化ユニットは存在するか、そしてそれらはどのように制御されるか。
• RQ3 依存関係間で数情報の流れを調節する構文関連ユニットは存在するか。
• RQ4 構文ユニットと数ユニットは、ネットワークの結合を通じて文法的符号化をどのように支援するか。

主な発見

• 第2層に、単数・複数の主語番号を符号化し、介在する材料を跨ってそれを保持する二つの専用の長距離数ユニットが現れる。
• 構文関連ユニットが主語–動詞依存を符号化し、数情報を覚える/更新する時期を制御するように数ユニットへ信号を送る。
• より容易なタスクのための分散的で構文に依存しない数コードが存在するが、埋め込み構造を横断して数情報を堅牢に伝えることはできず、LR-numberユニットの重要性を浮き彫りにしている。
• LR-numberユニットを消去すると、長距離（整合/不整合）NAタスクの性能が著しく低下し、長距離一致における彼らの重要な役割を示す。
• 構文ユニットは構造化されたゲートダイナミクスを示し、数ユニットに対して強い遠心的影響を及ぼし、依存関係の remember/update フラグを実質的に提供しており、LSTMに実際の構文処理メカニズムが存在することを示唆している。