[論文レビュー] RNNs as psycholinguistic subjects: Syntactic state and grammatical dependency

Richard Futrell, Ethan Wilcox+2 more|arXiv (Cornell University)|Sep 5, 2018

Topic Modeling参考文献 46被引用数 40

ひとこと要約

本論文は、英語と日本語の LSTM 言語モデルが逐次的統語状態と文法的依存関係を表現するかを、RNN surprisal 指標に適応した統制された心理言語学実験で経験的に検証する。逐次的統語状態の証拠と今後出現する材料の一部の維持を示すが、反身代名詞の結合と NPI のライセンスを学習する際の限界を示す。

ABSTRACT

Recurrent neural networks (RNNs) are the state of the art in sequence modeling for natural language. However, it remains poorly understood what grammatical characteristics of natural language they implicitly learn and represent as a consequence of optimizing the language modeling objective. Here we deploy the methods of controlled psycholinguistic experimentation to shed light on to what extent RNN behavior reflects incremental syntactic state and grammatical dependency representations known to characterize human linguistic behavior. We broadly test two publicly available long short-term memory (LSTM) English sequence models, and learn and test a new Japanese LSTM. We demonstrate that these models represent and maintain incremental syntactic state, but that they do not always generalize in the same way as humans. Furthermore, none of our models learn the appropriate grammatical dependency configurations licensing reflexive pronouns or negative polarity items.

研究の動機と目的

• RNN が複雑な構文の処理中に逐次的統語状態を維持するかを評価する。
• RNN の反身結合や NPI ライセンスなどの文法的依存の表現を評価する。
• グラデーションのある道案内（garden-path）効果と義務的な今後の統語イベントを調べ、人間のパーシングと比較する。
• 英語と日本語の RNN の挙動を比較し、統語表現の言語間一般化を理解する。

提案手法

• 前の隠れ状態に基づく次のトークンの負の対数確率として RNN から単語レベルの surprisal を計算する。
• ガーデンパス効果を誘発し、条件間の surprisal の差異を測定するような標的文刺激を設計する。
• 実験を事前登録し、項目別および条件別 surprisal を線形混合効果モデルで分析する。
• 英語の LSTM を 2 台（JRNN と GRNN）と、日本語の LSTM（JPRNN）を言語モデリング目的で学習させてテストする。
• MV/RR のガーデンパス、主語の生物動作性効果、義務的な今後の統語イベント（ORC と従属節）、反身結合、NPIs を実験する。

実験結果

リサーチクエスチョン

• RQ1 ガーデンパスおよび簡略化された関係節文の文脈で、LSTM は人間と同様に逐次的統語状態を維持するか。
• RQ2 英語および日本語の LSTM は、反身結合や NPI ライセンスのような文法的依存を学習し、適用するか。
• RQ3 時間経過とともに、関係節と従属節を完成させるなど、義務的な今後の統語イベントを LSTM はどのように扱うか。
• RQ4 ガーデンパスを作り出す微細な語彙統語的手がかり（生物動作性など）に対して RNN は敏感か。
• RQ5 モデルのアーキテクチャと学習データが、人間に似た統語表現の出現にどのように影響するか。

主な発見

• LSTMs は関係節内で逐次的統語状態の証拠を示し、動詞形の手がかりを用いて縮約関係節を示すことができる。
• 英語モデルの両方が ORC および従属節内で今後の材料に対する期待を維持するが、介在する材料が長くなるまたはより複雑になるほど堅牢性は低下する。
• JRNN は反身代名詞の性別不一致効果を示し、結合の学習傾向の一部を反映している可能性を示すが、GRNN はより弱いまたは同様の効果を示さない。
• どちらの英語モデルも英語または日本語の反身結合や NPIs の適切なライセンス配置を学習していないことを示しており、文法的依存の習得にギャップがある。
• 英語の NPI にはライセンス効果が見られるが、モデルは相対節内の否定的ライセンサーによる不適切なライセンスも示し、ライセンス制約の一般化が不完全であることを示唆する。
• 日本語の NPIs（しか）には部分的なライセンス効果が見られ、NPI ライセンス規則の一般化が不完全であることを示す複雑な相互作用がある。