[論文レビュー] Can RNNs learn Recursive Nested Subject-Verb Agreements?

Yair Lakretz, Théo Desbordes+4 more|arXiv (Cornell University)|Jan 6, 2021

Topic Modeling参考文献 35被引用数 13

ひとこと要約

この論文は、再帰的でネストされた主語・動詞の一致という構文的課題——長距離依存関係と階層的構造を要する——を再帰ニューラルネットワーク（RNN）が学習できるかを調査する。LSTM、GRU、ON-LSTM、スタックRNN、スタックLSTMを含むさまざまなRNNアーキテクチャを用いた体系的実験を通じて、標準的なRNNは訓練分布を超えて一般化に失敗するのに対し、スタックベースのモデルは、特に深さと間隔が増加する際、再帰的依存関係を部分的に捉えることに成功していることが示された。

ABSTRACT

One of the fundamental principles of contemporary linguistics states that language processing requires the ability to extract recursively nested tree structures. However, it remains unclear whether and how this code could be implemented in neural circuits. Recent advances in Recurrent Neural Networks (RNNs), which achieve near-human performance in some language tasks, provide a compelling model to address such questions. Here, we present a new framework to study recursive processing in RNNs, using subject-verb agreement as a probe into the representations of the neural network. We trained six distinct types of RNNs on a simplified probabilistic context-free grammar designed to independently manipulate the length of a sentence and the depth of its syntactic tree. All RNNs generalized to subject-verb dependencies longer than those seen during training. However, none systematically generalized to deeper tree structures, even those with a structural bias towards learning nested tree (i.e., stack-RNNs). In addition, our analyses revealed primacy and recency effects in the generalization patterns of LSTM-based models, showing that these models tend to perform well on the outer- and innermost parts of a center-embedded tree structure, but poorly on its middle levels. Finally, probing the internal states of the model during the processing of sentences with nested tree structures, we found a complex encoding of grammatical agreement information (e.g. grammatical number), in which all the information for multiple words nouns was carried by a single unit. Taken together, these results indicate how neural networks may extract bounded nested tree structures, without learning a systematic recursive rule.

研究の動機と目的

• 合成された構文的構造における再帰的でネストされた主語・動詞一致を、再帰ニューラルネットワーク（RNN）が学習できるかどうかを評価すること。
• 深さや間隔の面で訓練分布を超えた一般化能力を、さまざまなRNNアーキテクチャの観点から評価すること。
• スタックベースのメモリやチャンク化された計算といった、アーキテクチャに内在するインダクティブバイアスが、階層的構文的依存関係の学習をどのように支援するかを調査すること。
• 異なる確率（単数／複数の主語の確率）で学習したモデルが、より長く複雑な再帰的構造に一般化できるかどうかを特定すること。

提案手法

• 単数／複数の主語の確率（p1, p2）を制御し、深さ（d）と主語と動詞の間隔（s）を変化させた合成データセットを生成した。
• 標準的なLSTM、GRU、ON-LSTM、スタックRNN、スタックLSTMといった複数のRNNアーキテクチャを訓練した。ハイパーパrameterとして、レイヤー数、隠れユニット数、埋め込み次元、ドロップアウト率を段階的に変更した。
• ADAM最適化手法を用い、学習率を1e-3に固定し、検証パープレキシティに基づく早期停止を適用して20エポック（スタックモデルは3エポック）訓練した。
• 性能評価は、深さと間隔が増加する文における動詞ごとの数的一致タスクで行い、正解率を測定した。
• 内部表現の分析には、セルのダイナミクスと主成分分析（PCA）を用い、特にカウンターや階層的状態パターンを検出することを目的とした。
• さまざまな（d, s）の組み合わせにおいて、テストパープレキシティと正解率のマトリクスを可視化し、訓練分布を超えた一般化能力を評価した。

実験結果

リサーチクエスチョン

• RQ1 標準的なRNN（LSTMやGRU）は、訓練時に観測した最大の深さや間隔を超えて、再帰的主語・動詞一致に一般化できるか？
• RQ2 スタックRNNやON-LSTMといったアーキテクチャの革新は、標準的なRNNに比べて再帰的構文的依存関係の一般化を改善するか？
• RQ3 訓練データの分布（p1, p2）を変化させた場合、モデルの性能と未観測の（d, s）組み合わせへの一般化能力にどのような影響を与えるか？
• RQ4 訓練済みモデルの内部セル状態は、再帰的依存関係を数えるか追跡するようなダイナミクスを示すか？
• RQ5 ON-LSTM やスタックベースのモデルにおける注意メカニズムやメモリ機構は、階層的構文的構造の学習をどの程度支援するか？

主な発見

• 標準的なLSTMとGRUは、訓練時に観測した最大の深さや間隔を超える再帰的構造に対して一般化に失敗し、未観測の（d, s）組み合わせではほぼゼロの正解率を示した。
• ON-LSTMは標準的なLSTMに比べて性能が向上し、特に長い間隔の処理において優れた結果を示したが、深さの増加する再帰的構造への一般化には失敗した。
• スタックRNNとスタックLSTMは最も優れた一般化性能を示し、深さd=3の構造や間隔s=12の構造に対しても非自明な正解率を達成したが、訓練の限界を超えると著しく性能が低下した。
• セル状態のPCA分析から、成功したモデルではカウンターモードのダイナミクスが観察され、状態の進化によってネストされた依存関係の数を追跡していることが示唆された。
• 最適なモデルは検証パープレキシティに基づいて選定され、バランスの取れたデータ（p1=p2=0.5）で学習したモデルが、歪んだ分布で学習したモデルよりも優れた一般化性能を示した。
• セルダイナミクスの可視化から、成功したモデルが、時間ステップにわたって主語の数やネストの深さを明確で安定した状態パターンとしてエンコードしていることが示された。