[論文レビュー] On Evaluating the Generalization of LSTM Models in Formal Languages

Mirac Süzgün, Yonatan Belinkov+1 more|arXiv (Cornell University)|Nov 2, 2018

Topic Modeling参考文献 17被引用数 6

ひとこと要約

本稿は、$a^n b^n$、$a^n b^n c^n$、$a^n b^n c^n d^n$ などの形式的言語を学習する際のLSTMモデルの一般化能力を、全シーケンス長にわたり訓練およびテスト中のパフォーマンスをモニタリングすることで評価する。データ分布、トレーニング長スパン、モデル容量が一般化に顕著な影響を及ぼすことが判明した。過剰にパrameter化されたモデルでは、協調的カウントメカニズムのおかげで安定性が向上する一方、重み初期化は類似した損失値であっても収束に強く影響する。

ABSTRACT

Recurrent Neural Networks (RNNs) are theoretically Turing-complete and established themselves as a dominant model for language processing. Yet, there still remains an uncertainty regarding their language learning capabilities. In this paper, we empirically evaluate the inductive learning capabilities of Long Short-Term Memory networks, a popular extension of simple RNNs, to learn simple formal languages, in particular $a^nb^n$, $a^nb^nc^n$, and $a^nb^nc^nd^n$. We investigate the influence of various aspects of learning, such as training data regimes and model capacity, on the generalization to unobserved samples. We find striking differences in model performances under different training settings and highlight the need for careful analysis and assessment when making claims about the learning capabilities of neural network models.

研究の動機と目的

• 標準的な固定テストセット評価にとどまらない、$a^n b^n$、$a^n b^n c^n$、$a^n b^n c^n d^n$ などの形式的言語においてLSTMモデルが未観測シーケンスにどのように一般化するかを調査すること。
• 制限付きテストセット、固定長閾値、均一なデータ分布に依存する従来の評価手法の限界を是正すること。
• データ分布、トレーニング長スパン、モデル容量が一般化パフォーマンスと安定性に与える影響を検討すること。
• 重み初期化と隠れ状態ダイナミクスが、カウント行動の学習と収束に果たす役割を分析すること。
• 訓練全体および全シーケンス長にわたる一般化を追跡する、より洗練された評価プロトコルを提案すること。

提案手法

• 著者は、各エポックにおけるLSTMのパフォーマンスをモニタリングし、シーケンス長を増加順にテストすることで、$k$ 個の誤りを犯すまでに至るまでの一般化を評価する。
• 固定長テストセットを避けるために、長さごとの全列挙を用い、全長にわたる一般化を評価する。
• データ分布の影響を評価するため、均一、幾何、U字型、歪んだ分布の4つの制御条件でトレーニングを実施する。
• 長さスパンを変更（例：[1,50]、[1,100]）することで、範囲が長短のシーケンスへの一般化に与える影響を検討する。
• 隠れユニット数を変更することでモデル容量を操作し、理論的に十分な設定と過剰にパrameter化された設定を比較する。
• 特に過剰にパrameter化されたモデルにおけるカウント行動を分析するため、隠れ状態の活性化ダイナミクスを可視化する。

実験結果

リサーチクエスチョン

• RQ1 均一、幾何、U字型、歪んだ分布といったデータ分布の選択が、形式的言語におけるLSTMモデルの一般化パフォーマンスにどのように影響するか？
• RQ2 トレーニング長スパンを広げることで、長期間のシーケンスへの一般化がどの程度向上するか？また、短いシーケンスのパフォーマンス向上にも寄与するか？
• RQ3 隠れユニット数の増加（モデル容量の増大）が一般化を向上させるのか、それとも主に訓練の安定性に影響を与えるのか？
• RQ4 重み初期化が収束と一般化に与える影響は何か？特に、複数回の実験で損失値が類似している場合に顕著に現れる。
• RQ5 隠れ状態のダイナミクスが、形式的言語のためのカウントメカニズムの学習にどのように寄与するか？

主な発見

• U字型および離散的均一分布のデータ分布は、全テスト言語で一貫して最高の一般化パフォーマンスを示し、幾何分布や歪んだ分布を上回る。
• トレーニング長スパンを広げることで、長期間のシーケンスへの一般化が顕著に向上し、驚くべきことに、長期間のシーケンスでトレーニングされたモデルは短期間のシーケンスに対してもより良い一般化を示す。
• 隠れユニット数を増やした過剰にパrameter化されたLSTMでは、訓練中の安定性と一般化の一貫性が向上し、最終的な正確性が必ずしも高くなくてもよい。
• 過剰にパrameter化されたモデルでは、複数の隠れユニットが協調的にシーケンス長を追跡する「協調的カウントメカニズム」が発生し、特定の時刻での同期した活性化パターンによって裏付けられる。
• 異なるランダム初期化では、損失の収束が類似していても、一般化の結果が著しく異なることが判明し、収束が同等の帰納的能力を意味するわけではないことが示された。
• 一般化に失敗する主な原因は、誤った出力シーケンスであるが、それでも部分的なカウント行動を示しており、例として $a^{1000}b^{996}\dashv^4$ を正しく $a^{1000}b^{999}\dashv$ と出力しないことから、失敗ケースでも残存するカウントメカニズムが存在することが示唆される。