[論文レビュー] Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds

Victoria Basmov, Yoav Goldberg+1 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用数 5

ひとこと要約

この論文は、文法的に指定された含意、不確実性を示す副詞、単調性含意といった単純な言語的含意タスクにおけるChatGPTの限界を調査している。人間にとっては自明なタスクであるが、モデルは直接質問された場合には概念を理解しているものの、ゼロショット推論タスクではその知識を適用できないことが示された。予想される前提を引き起こす要因や事実でない動詞が、推論予測を歪める『盲点』（blinds）として特定され、表面的な流暢さを超えた大規模言語モデルの推論における体系的な盲点が明らかになった。

ABSTRACT

We evaluate LLMs' language understanding capacities on simple inference tasks that most humans find trivial. Specifically, we target (i) grammatically-specified entailments, (ii) premises with evidential adverbs of uncertainty, and (iii) monotonicity entailments. We design evaluation sets for these tasks and conduct experiments in both zero-shot and chain-of-thought setups, and with multiple prompts and LLMs. The models exhibit moderate to low performance on these evaluation sets. Subsequent experiments show that embedding the premise in syntactic constructions that should preserve the entailment relations (presupposition triggers) or change them (non-factives), further confuses the models, causing them to either under-predict or over-predict certain entailment labels regardless of the true relation, and often disregarding the nature of the embedding context. Overall these results suggest that, despite LLMs' celebrated language understanding capacity, even the strongest models have blindspots with respect to certain types of entailments, and certain information-packaging structures act as ``blinds'' overshadowing the semantics of the embedded premise.

研究の動機と目的

• 人間にとっては自明だがモデルにとっては困難な単純な言語的含意タスクにおけるChatGPTのパフォーマンスを調査すること。
• ChatGPTが直接質問された際に示す言語的知識を、実際に推論タスクに一貫して適用できるかどうかを検討すること。
• 前提文を前提的または事実でない動詞の文脈に埋め込むことで、含意の正確性にどのような影響を与えるかを分析すること。
• 含意予測を歪める入力文の構造的特徴を同定し、それらを『盲点』（blinds）として特定すること。
• 高リスクな応用分野における大規模言語モデルの信頼性と信頼性についての理解に貢献すること。

提案手法

• 文法的に指定された含意、証拠的副詞（例：supposedly）、単調性含意（上行／下行）の3種類の含意タイプについて、専門家が設計したテストセットの手動によるキュレーション。
• ファインチューニングやチェーン・オブ・トゥグラウンズ・プロンプトを用いずに、ChatGPTのゼロショット評価。
• 明示的な定義と使用に関する質問を通じて、ChatGPTの言語的概念に関する知識を直接的に探査すること。
• 前提文を前提を伴う動詞（例：'He realized that...'）や事実でない動詞（例：'They thought that...'）の下に埋め込むことで、文の構造を体系的に変更すること。
• 異なる埋め込み構造と制御条件における含意正確性の定量的比較。
• 複数の含意タイプにわたるモデル行動の分析を通じて、体系的なバイアスや一貫性の欠如を検出すること。

Figure 1: High-level summary of the experiments and results.

実験結果

リサーチクエスチョン

• RQ1 ChatGPTは、名詞を'someone'に置き換えるような文法的に指定された状況で、含意関係を正しく推論できるか？
• RQ2 証拠的副詞（例：'supposedly'）の存在が、ChatGPTの含意評価能力にどのような影響を与えるか？
• RQ3 ChatGPTは、単純なクラス所属推論において、単調性原理（上行／下行含意）を正しく適用できるか？
• RQ4 ChatGPTの言語的概念に関する知識が、実際に推論タスクにどの程度転送されるか？
• RQ5 前提を伴う動詞や事実でない動詞が、意味的真偽に関係なく、モデルに含意予測を系統的にバイアスさせるか？

主な発見

• ChatGPTは、直接質問された場合には概念を正しく説明できるものの、文法的に指定された含意タスクでは中程度から低めの正確性を示している。
• モデルは頻繁に、'purportedly' のような証拠的副詞が含意を遮断することを認識できず、前提が不確実であっても誤って含意を予測する。
• ChatGPTは単調性含意において苦労しており、単純なクラス所属のケースで部分集合からスーパーセットへの誤った含意推論、あるいは逆にそれらを逆転して推論する。
• 前提文が前提を伴う動詞（例：'He realized that...'）の下に埋め込まれると、意味的内容が含意を否定しても、モデルは含意を予測する確率が著しく高くなる。
• 同様に、前提文が事実でない動詞（例：'They thought that...'）の下に埋め込まれると、正しい意味的ラベルに関係なく、含意予測への強いバイアスが生じる。
• モデルは知識の適用が一貫していない：言語的ルールを理解しているが、推論タスクではそれらを適用できないため、記述的知識と推論の間にはギャップが存在することが示唆される。

Figure 2: ChatGPT demonstrates its understanding of the meaning and implications of evidential adverbs when prompted for it directly.