[論文レビュー] Separating form and meaning: Using self-consistency to quantify task understanding across multiple senses

Xenia Ohmer, Elia Bruni+1 more|arXiv (Cornell University)|May 19, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、静的ベンチマークに依存せず、複数の言語形態（特に多言語翻訳）における自己一貫性を通じて大規模言語モデル（LLM）の理解度を測る、新しい評価パラダイムを提案する。モデルが自身の入力を翻訳し、異なる言語間での出力の一貫性を評価することで、形式依存的な理解の不整合を検出する。研究では、最新のChatGPTですら顕著な多言語的一致性の欠如を示しており、そのタスク理解が言語形態の変化に対して頑健でないことが明らかになった。

ABSTRACT

At the staggering pace with which the capabilities of large language models (LLMs) are increasing, creating future-proof evaluation sets to assess their understanding becomes more and more challenging. In this paper, we propose a novel paradigm for evaluating LLMs which leverages the idea that correct world understanding should be consistent across different (Fregean) senses of the same meaning. Accordingly, we measure understanding not in terms of correctness but by evaluating consistency across multiple senses that are generated by the model itself. We showcase our approach by instantiating a test where the different senses are different languages, hence using multilingual self-consistency as a litmus test for the model's understanding and simultaneously addressing the important topic of multilinguality. Taking one of the latest versions of ChatGPT as our object of study, we evaluate multilingual consistency for two different tasks across three different languages. We show that its multilingual consistency is still lacking, and that its task and world understanding are thus not language-independent. As our approach does not require any static evaluation corpora in languages other than English, it can easily and cheaply be extended to different languages and tasks and could become an integral part of future benchmarking efforts.

研究の動機と目的

• LLMが表面的な形式パターンを超えてタスクを理解しているかどうかを評価する課題に対処すること。
• 評価中に動的に代替言語形態を生成することで、ベンチマークにおけるデータ汚染を軽減すること。
• LLM理解における形式と意味を分離できる、スケーラブルで低コストな評価手法を開発すること。
• 多言語的自己一貫性をランプテストとして用いて、LLMが異なる言語間で一貫した世界知識を示すかどうかを調査すること。
• モデルのアップデートやデータ漏洩に対しても有効な、将来にわたっても有効な評価フレームワークを提供すること。

提案手法

• 同じ入力を、モデル自身の翻訳能力を用いて他の言語に翻訳することで、入力の代替言語形態（意味の変化を伴わない翻訳）を生成する。
• 出力の元の入力とその翻訳版との一貫性を比較することで一貫性を測定し、高い一貫性は安定した世界理解を示す。
• 翻訳は評価ごとに新規に生成され、保存・再利用されないため、データ汚染を回避できる。
• この手法は、英語、ドイツ語、中国語の3言語で、パラフレーズ検出（PAWS-X）と自然言語推論（XNLI）の2つのNLPタスクに適用された。
• 元の入力とモデルが生成した翻訳の両方で性能を評価し、指示文と入力言語の影響を分離するためのアブレーションも実施した。
• 翻訳品質が高いサブセット（BLEU > 50）を別途分析し、翻訳品質が向上しても一貫性が保たれるかを評価した。

Figure 1: Illustration of the basic mechanism of our paradigm: We use the model to generate other senses of the original input. The model’s answers on the original input and the alternative sense are used to evaluate its consistency. In this example, the model is presented with the task of paraphras

実験結果

リサーチクエスチョン

• RQ1 モデル自身が入力を翻訳する場合、大規模言語モデルは異なる言語間で一貫したタスクパフォーマンスを維持できるか？
• RQ2 モデルのタスク理解が、タスクが提示される言語形態（例：言語）に依存するか？
• RQ3 多言語的自己一貫性は、記憶されたパターンとは独立して、世界知識やタスク理解の信頼できる代理指標として機能できるか？
• RQ4 指示文のみ、または入力のみを別の言語に翻訳した場合、モデルのパフォーマンスはどのように変化するか？
• RQ5 元のタスクが英語以外の言語である場合でも、入力と指示文を英語に翻訳することで一貫性とパフォーマンスが向上するか？

主な発見

• ChatGPTは、PAWS-XとXNLIの両タスクにおいて、元の入力を用いた場合にそれぞれ0.72および0.70の低水準の多言語的一致性を示した。
• PAWS-Xでは、高品質翻訳（BLEU > 50）のうちたった35.6％で出力の一貫性が得られ、正確な翻訳でも一貫した推論が保証されないことが示された。
• XNLIでは、高BLEU翻訳に限定した場合、一貫性はさらに低下し10.5％にまで下がり、翻訳品質そのものが不一致を解消しないことが示唆された。
• 指示文を非英語に変更するとパフォーマンスが著しく低下し、XNLIでは英語の際の正答率0.71からドイツ語では0.50、中国語では0.60に低下した。
• 入力と指示文をすべて英語に翻訳することで、すべての元言語でパフォーマンスが向上し、特に指示文の翻訳による改善が顕著で、指示文の形式がモデル行動に強く影響することが示された。
• 高品質翻訳（BLEU > 50）でさえ、一貫性は低く保たれ、PAWS-Xでは35.6％、XNLIでは10.5％にとどまり、モデルの理解が言語形態に依存している強力な証拠が得られた。

Figure 2: An overview of our experiments and analyses.