[論文レビュー] On the Existence of Tacit Assumptions in Contextualized Language Models

Nathaniel Weir, Adam Poliak+1 more|arXiv (Cornell University)|Apr 10, 2020

Topic Modeling参考文献 10被引用数 6

ひとこと要約

この論文は、心理的研究から得られた概念的関連性に基づいて単語を予測する能力をテストすることにより、文脈化された言語モデルがステレオタイプ的内省的仮定（STAs）—概念に関する暗黙的で一般的な信念—を捉えているかどうかを調査する。結果として、モデルは関連概念を効果的に再構築しており、STAsが大規模なテキストコーパスへの半教師あり露出によってエンコードされているという実証的証拠が得られた。

ABSTRACT

Humans carry stereotypic tacit assumptions (STAs) (Prince, 1978), or propositional beliefs about generic concepts. Such associations are crucial for understanding natural language. We construct a diagnostic set of word prediction prompts to evaluate whether recent neural contextualized language models trained on large text corpora capture STAs. Our prompts are based on human responses in a psychological study of conceptual associations. We find models to be profoundly effective at retrieving concepts given associated properties. Our results demonstrate empirical evidence that stereotypic conceptual representations are captured in neural models derived from semi-supervised linguistic exposure.

研究の動機と目的

• 大規模なテキストコーパスからのニューラル言語モデルが、暗黙的かつステレオタイプ的な内省的仮定（STAs）を学習するかどうかを調査すること。
• 無意識的で一般的な概念に関する信念（STAs）が、文脈化された言語モデルにエンコードされているかどうかを評価すること。
• 人間が得た概念的関連性を用いて、モデルの表現を調査する診断フレームワークを開発すること。
• 半教師あり言語的露出がニューラルモデルにステレオタイプ的概念的知識を習得させることを実証的に示すこと。

提案手法

• 心理的研究における人間の反応に基づいた、概念的関連性に基づく単語予測プロンプトの診断セットを設計すること。
• これらのプロンプトを用いて、言語モデルが意味的に関連する概念を予測するかどうかをテストし、STAsを反映しているかどうかを検証すること。
• 診断プロンプト上で文脈化された言語モデルを訓練および評価し、関連語の再構築能力を評価すること。
• モデルの予測結果と人間が提供した関連性を比較し、ステレオタイプ的概念的表現との整合性を測定すること。
• 標準化された評価プロトコルを用いて、異なるモデルアーキテクチャ間でのSTAの捉え具合を定量化すること。

実験結果

リサーチクエスチョン

• RQ1 文脈化された言語モデルは、人間の概念的関連性から導かれるステレオタイプ的内省的仮定（STAs）を捉えているか？
• RQ2 モデルはどの程度、単語予測タスクにおいて人間と類似した概念的関連性を再現しているか？
• RQ3 モデルにおけるSTAsの習得は、大規模なテキストコーパスへの半教師あり露出に起因すると言えるか？
• RQ4 モデルは多様な概念的ドメインにわたり、STAsをどの程度一般化できているか？

主な発見

• モデルは診断プロンプトから概念的に関連する語を効果的に再構築しており、人間が提供した関連性と強い整合性を示している。
• 結果として、ステレオタイプ的概念的表現が大規模なテキストコーパスへの露出によってニューラルモデルに組み込まれているという実証的証拠が得られた。
• モデルのパフォーマンスから、STAsは単なる統計的共起性ではなく、より深い概念的エンコードを反映していることが示唆された。
• 診断フレームワークは、言語モデルにおけるSTAsの存在を効果的に特定および測定でき、信頼性の高い評価手法を提供した。