[論文レビュー] Can Peanuts Fall in Love with Distributional Semantics?

James A. Michaelov, Seana Coulson+1 more|arXiv (Cornell University)|Jan 20, 2023

Natural Language Processing Techniques被引用数 9

ひとこと要約

この論文は、オランダ語モデルと言語ベクトルを通じた分布的言語知識が、状況モデルに帰着していたN400文脈効果を説明できるかを検証し、いくつかのモデルで語彙プライミングの十分性を示す証拠を得ている。

ABSTRACT

Context changes expectations about upcoming words - following a story involving an anthropomorphic peanut, comprehenders expect the sentence the peanut was in love more than the peanut was salted, as indexed by N400 amplitude (Nieuwland & van Berkum, 2006). This updating of expectations has been explained using Situation Models - mental representations of a described event. However, recent work showing that N400 amplitude is predictable from distributional information alone raises the question whether situation models are necessary for these contextual effects. We model the results of Nieuwland and van Berkum (2006) using six computational language models and three sets of word vectors, none of which have explicit situation models or semantic grounding. We find that a subset of these can fully model the effect found by Nieuwland and van Berkum (2006). Thus, at least some processing effects normally explained through situation models may not in fact require explicit situation models.

研究の動機と目的

• N400文脈効果が状況モデルを必要とするのか、それとも分布的な言語統計量から生じ得るのかという問いを動機づける。
• 六つのオランダ語トランスフォーマー言語モデルが、N400研究で観察される標準的な同形反転と還元効果を示すかを検証する。
• 三つのオランダ語語彙ベクトルセットがコサイン類似度測定を介して同様の効果を示すかを検討する。
• 予測の文脈依存性を評価するために、全文ストーリーcontextとクリティカル文contextを比較する。
• 分布的情報のみで、人間データを明示的な grounded semantics なしで説明できるかを評価する。

提案手法

• オランダ語N400研究の刺激を使用し、事件レベルプライミングと語彙プライミングの2つの variantes を検証する。
• 6つの事前学習済みオランダ語言語モデル（GPT-2 Medium/Large、GPT-Neo 125M/1.3B、BERTje、RobBERT）を用い、先行コンテキストから主要語の surprisal を計算する。
• 主要語の surprisal を各モデルの負の対数確率として計算する。
• 前のコンテキスト語の平均ベクトルと主要語ベクトルとのコサイン距離を、3つのオランダ語語彙ベクトルセット（fastText、COW、Combined）で計算する。
• 線形混合効果モデルを適合させ、還元効果（述語タイプと刺激長さの相互作用）を検定し、反転効果については多重比較補正付きの対応の t 検定を実施する。
• 分布情報がN400-文脈効果を説明するかどうかを評価するために、モデルの適合度と有意性を報告する。

実験結果

リサーチクエスチョン

• RQ1 オランダ語の分布情報が、状況モデルを明示的に用いなくても、N400研究で見られる文脈依存の還元と反転効果を再現できるか？
• RQ2 自己回帰型トランスフォーマー（GPT-2ファミリー）は反転効果をモデル化するが、他のアーキテクチャは還元のみ、または効果なしを示すのか？
• RQ3 純粋な語彙ベクトルのコサイン距離は、複数のオランダ語ベクトルセットで語彙プライミング成分を捉えられるのか？
• RQ4 全文ストーリーの文脈とクリティカル文だけの文脈、さらには異なる言語（オランダ語刺激）でも効果は頑健か？

主な発見

• 六つの言語モデルすべてが有意な還元効果を示す：標準語はクリティカル文で非標準語より surprisal が低いが、全文ストーリ文脈では複数モデルでこれが反転する。
• オランダ語の GPT-2 Medium および GPT-2 Large は、全文長の刺激において唯一顕著な反転効果を示し、標準語が非標準語より surprisal が高い。
• GPT-Neo、BERTje、RobBERT は還元効果を示すが、全文長刺激で一貫して反転を示さない。
• 三つのベクトルセットすべてでコサイン距離は還元効果を示し、2セット（CombinedとCOW）はいくつかの条件で反転効果も示す。
• 結果は、分布情報が状況モデルに基づく処理を呼び起こさなくてもN400-contextパターンを定性的に説明できる可能性を示唆する。