[論文レビュー] Neural Language Models as Psycholinguistic Subjects: Representations of Syntactic State

Richard Futrell, Ethan Wilcox+4 more|arXiv (Cornell University)|Mar 8, 2019

Natural Language Processing Techniques参考文献 44被引用数 11

ひとこと要約

この論文は、神経言語モデルが心理言語学的手法を用いて段階的な文法的状態を表しているかどうかを調査し、文法的曖昧性を含む人工文で4つのモデルをテストした。結果として、大規模なLSTMとRNNGは人間と同様に文法的状態および語彙的形態的手がかりに感受性を示す一方、小規模なLSTMは堅牢な文法的状態表現を維持できないことがわかった。

ABSTRACT

We deploy the methods of controlled psycholinguistic experimentation to shed light on the extent to which the behavior of neural network language models reflects incremental representations of syntactic state. To do so, we examine model behavior on artificial sentences containing a variety of syntactically complex structures. We test four models: two publicly available LSTM sequence models of English (Jozefowicz et al., 2016; Gulordava et al., 2018) trained on large datasets; an RNNG (Dyer et al., 2016) trained on a small, parsed dataset; and an LSTM trained on the same small corpus as the RNNG. We find evidence that the LSTMs trained on large datasets represent syntactic state over large spans of text in a way that is comparable to the RNNG, while the LSTM trained on the small dataset does not or does so only weakly.

研究の動機と目的

• 神経言語モデルが人間の心理言語的処理に類似した段階的な文法的状態を表しているかどうかを評価すること。
• モデルが語彙的手がかり（例：動詞の形態や項構造）を用いて文法的状態の境界を推定しているかどうかを調査すること。
• 明示的な文法的監視（例：RNNG）を備えたモデルと備えないモデル、および訓練データ量の異なるモデルを比較し、文法的状態表現を可能にする要因を特定すること。
• 長大なテキストスパンにわたり文法的状態表現が劣化するのか、それとも安定したままであるのかを特定すること。
• ニューラルネットワークが文法的曖昧性に対して人間と同様のガーデンパスクロス効果を示すかどうかを評価すること。

提案手法

• モデルの予測信頼度を測定するため、予測の驚き度（surprisal）を用い、$ S(x_i) = -\log_2 p(x_i|h_{i-1}) $ として計算する。
• 段階的な文法的状態表現を調べるための制御された心理言語学的実験を実施し、主節動詞／短縮相対名詞句の曖昧性やNP/Zの曖昧性を含む人工文を用いる。
• 4つのモデルをテスト：大規模なLSTM2つ（JRNN, GRNN）、明示的な文法的構造を持つRNNG、RNNGと同一データで訓練された小規模なLSTM。
• 識別的動詞における、短縮相対名詞節条件と非短縮条件との間の驚き度の差をガーデンパスクロス効果として測定する。
• 文法的構造（短縮対非短縮）と動詞形（曖昧対曖昧でない過去分詞形）の相互作用効果を分析し、手がかり統合の度合いを評価する。
• 統計的モデリングを用いて、複数の手がかりを統合した文法的状態を示す「超加法的驚き度効果」の有無を検証する。

実験結果

リサーチクエスチョン

• RQ1 神経言語モデルは、人間の文法的処理に類似した方法で段階的な文法的状態を表しているか？
• RQ2 モデルは、動詞の形態や項構造といったテキスト的手がかりを用いて、文法的状態の開始および終了をどのように推定しているか？
• RQ3 モデルは、複雑なテキストの長大なスパンにわたり文法的状態表現を維持できるのか、それとも劣化するのか？
• RQ4 明示的な文法的監視（例：RNNG）を備えたモデルと一般的なLSTMとの間で、文法的状態表現にどのような差があるか？
• RQ5 モデルは、文法的曖昧性に対してどの程度人間と同様のガーデンパスクロス効果を示すか？

主な発見

• すべてのモデルが基本的なガーデンパスクロス効果を示した。初期動詞が短縮相対名詞節に含まれる場合、識別的動詞で驚き度が上昇した。
• RNNGが最も強いガーデンパスクロス効果（3.6ビット）を示し、次いでGRNN（3.6ビット）、JRNN（2.8ビット）、TinyLSTM（0.3ビット）の順であった。これは、小規模LSTMが弱い文法的状態表現を示していることを示している。
• 大規模LSTMとRNNGは、曖昧な動詞形条件において超加法的驚き度を示し、形態的および文法的手がかりを統合していることがわかった。一方、TinyLSTMはそのような効果を示さなかった（$ p = 0.45 $）。
• 曖昧でない過去分詞形動詞を用いても、TinyLSTMを除くすべてのモデルが有意なガーデンパスクロス効果を示した（$ p < 0.01 $）。これは、モデルが形態的手がかりを決定的ではなくノイズの多い手がかりとして扱っていることを示している。
• RNNGと大規模LSTMは、従属節の完全な文法的挙動を一貫して捉えていたが、小規模LSTMはそのような能力に欠けていた。
• 粗い文法的構造の表現には、大規模な訓練データまたは明示的な文法的監視が必要であり、詳細な手がかり統合には大規模なデータが必要である。