[論文レビュー] Unpacking Large Language Models with Conceptual Consistency

Pritish Kumar Sahu, Michael Cogswell+2 more|arXiv (Cornell University)|Sep 29, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、大規模言語モデル（LLMs）がその推論に関連する概念について、整合的で背景知識と整合性のある理解を持っているかどうかを評価するための指標として、概念的整合性を導入する。ConceptNetから概念的に関連する知識を抽出し、多数決によるプロンプト戦略を用いてモデルの応答を測定することで、著者らは、概念的整合性はモデル規模に伴い向上するが、依然として中程度であり、関係や概念によって顕著に変動することを発見した。これは、大規模モデルですら概念的理解の一般化が限定的であることを示している。

ABSTRACT

If a Large Language Model (LLM) answers "yes" to the question "Are mountains tall?" then does it know what a mountain is? Can you rely on it responding correctly or incorrectly to other questions about mountains? The success of Large Language Models (LLMs) indicates they are increasingly able to answer queries like these accurately, but that ability does not necessarily imply a general understanding of concepts relevant to the anchor query. We propose conceptual consistency to measure a LLM's understanding of relevant concepts. This novel metric measures how well a model can be characterized by finding out how consistent its responses to queries about conceptually relevant background knowledge are. To compute it we extract background knowledge by traversing paths between concepts in a knowledge base and then try to predict the model's response to the anchor query from the background knowledge. We investigate the performance of current LLMs in a commonsense reasoning setting using the CSQA dataset and the ConceptNet knowledge base. While conceptual consistency, like other metrics, does increase with the scale of the LLM used, we find that popular models do not necessarily have high conceptual consistency. Our analysis also shows significant variation in conceptual consistency across different kinds of relations, concepts, and prompts. This serves as a step toward building models that humans can apply a theory of mind to, and thus interact with intuitively.

研究の動機と目的

• LLMsの推論行動がその背後にある概念的知識と整合的であるかどうかを測定する指標を開発すること。
• 大規模言語モデルがパターンマッチングを超えて概念的理解を一般化しているかどうか、特に日常的推論において調査すること。
• 質問への回答タスクにおけるモデルのパフォーマンスが、概念的に関連する背景的事実の知識とどの程度相関しているかを評価すること。
• 異なる関係、概念、モデルスケールにおいて、概念的整合性に系統的な変動が生じるかどうかを特定すること。

提案手法

• CSQAデータセット内の各質問に関連する概念間のパスを走査することで、ConceptNetから概念的に関連する背景知識を抽出する。
• 関係（例：'is a'、'desires'、'causes'）に基づいて背景知識の質問を構築し、モデルの知識を検査する。
• 複数のプロンプトバリエーションを用いた多数決スタイルのゼロショットプロンプト手順を適用し、背景知識およびアンカータスクへのモデル応答の測定を堅牢にする。
• 背景知識のパフォーマンスとアンカータスクにおける正答率の相関を計算することで、概念的整合性を算出する。
• 言語的ばらつきバイアスを低減し、モデル応答測定の信頼性を向上させるために、多数決プロンプト戦略を用いる。
• OPT、GPT、T0の3つのLLMファミリーを、最大66Bパラメータのスケールで評価し、概念的整合性のトレンドを分析する。

実験結果

リサーチクエスチョン

• RQ1 モデルの日常的推論タスクにおけるパフォーマンスは、関連する背景概念の知識をどの程度反映しているか？
• RQ2 背景知識と推論パフォーマンスの整合性として定義される概念的整合性は、異なる種類の関係や概念においてどのように変動するか？
• RQ3 概念的整合性はモデルスケールに伴い向上するのか？ もし向上するならば、それらの向上は、単なる知識の増加や推論正答率の向上と比べてどう異なるか？
• RQ4 とりわけ多数決プロンプト戦略を含むプロンプト戦略は、背景知識および概念的整合性の測定にどのように影響するか？
• RQ5 特定の関係や概念において、推論タスクで高いパフォーマンスを示しても、大規模モデルであっても概念的整合性が低い場合があるか？

主な発見

• 概念的整合性はモデルスケールに伴い向上するが、依然として中程度にとどまり、大規模モデルであっても背景知識と推論パフォーマンスの間の整合性が高くなるとは限らないことを示している。
• 背景的事実の知識はスケールに伴い向上するが、推論正答率や概念的整合性の向上よりも遅い速度で増加しており、LLMsにおけるスキルの階層的構造を示唆している。
• 異なる関係において、概念的整合性の変動が顕著に観察された。例えば、知識は向上するが、'desires'に関しては大規模モデルでも整合性が向上しない一方で、'causes'に関しては整合性が向上した。
• 小規模モデルでは、知識はあるが一貫性がない、あるいは一貫性はあるが知識がないといった、一貫性のない行動が顕著に見られた。特に、'desires' や 'causes' のような関係において顕著だった。
• モデルファミリーごとのパフォーマンスに差が見られた。OPTモデルはGPTやT0と比べて、概念的整合性のスケーリングトレンドがやや弱く、一部の小規模モデルが特定の関係（例：'Similar To'）において大規模モデルを上回った。
• プロンプトバイアス（例：小規模なOPTモデルにおける'yes'バイアス）は検出可能であり、多数決プロンプト戦略によって緩和され、測定の信頼性が向上した。