[論文レビュー] LLMs May Perform MCQA by Selecting the Least Incorrect Option

Haochun Wang, Sendong Zhao+4 more|arXiv (Cornell University)|Feb 2, 2024

Expert finding and Q&A systems被引用数 4

ひとこと要約

本論文は、大規模言語モデル（LLMs）の評価ベンチマークとしての複数選択式質問回答（MCQA）の妥当性に疑問を呈し、LLMsがしばしば『最も誤りが少ない選択肢』を選ぶだけで、質問の意味を真正に理解しているわけではないことを明らかにした。さまざまな質問形式を用いた体系的な実験を通じて、著者たちは、回答選択肢の順序のわずかな変更によってモデルの性能が著しく変動する「応答ばらつき症候群（REVAS）」を同定した。これはMCQAが真の理解度を測る指標としての信頼性を損なうものである。

ABSTRACT

In the field of NLP, Large Language Models (LLMs) have markedly enhanced performance across a variety of tasks. However, the comprehensive evaluation of LLMs remains an inevitable challenge for the community. Recently, the adoption of Multiple Choice Question Answering (MCQA) as a benchmark for assessing LLMs has gained considerable traction. However, concerns regarding the robustness of this evaluative method persist. Building upon previous discussions on the issue of extit{variability}, we reveal an additional dimension of concern: LLMs may perform MCQA by selecting the least incorrect option rather than distinctly correct. This observation suggests that LLMs might regard multiple options as correct, which could undermine the reliability of MCQA as a metric for evaluating LLMs. To address this challenge, we introduce an enhanced dataset augmentation method for MCQA, termed MCQA+, to provide a more accurate reflection of the model performance, thereby highlighting the necessity for more sophisticated evaluation mechanisms in the assessment of LLM capabilities.

研究の動機と目的

• LLMsの評価ベンチマークとしてのMCQAの信頼性を調査すること。
• 同じ質問が再表現されたり再構成されたりした場合に、LLMの応答に一貫性が欠けることの特定。
• LLMsが質問の意味を真正に理解しているのか、それとも欠陥のある選択肢の中から最も妥当と思われる選択肢を選ぶだけなのかの検討。
• トレーニング中に誤り（不正解）の選択肢を組み込むことで、モデルの頑健性と一貫性が向上するかの調査。
• 応答ばらつきを考慮し、表面的なパターンマッチングではなくより深い理解を促進する、洗練された評価フレームワークの提案。

提案手法

• 著者らは、元のMCQAインスタンス、回答選択肢の順序を変更したバージョン、および真偽形式に変換したバージョンを含む、MCQAインスタンスの複数のバリエーションを構築した。
• LLaMA2-13B、Baichuan2-13B、ChatGPT 3.5 などの複数のLLMを用い、これらのバリエーションに対して応答の一貫性を測定した。
• Baichuan2-7B-Baseを用いた制御実験では、正解（正しい）と誤り（不正解）の回答ペアを用いて、誤り選択肢の影響を評価した。
• 3つのトレーニング戦略を比較した：SFTのみ、正解インスタンスでの事前学習後にSFT、正解および誤りインスタンスでの事前学習後にSFT。
• 質問構造の違いを考慮した一般化能力のテストのため、MCQA形式と真偽形式の両方を評価に含めた。
• さまざまな設定における予測シフトの統計的分析により、同一の質問に対して応答が著しく変動するREVAS現象を同定した。

実験結果

リサーチクエスチョン

• RQ1 同じ質問が異なる回答順序や形式で提示された場合、LLMsの性能は一貫しているか？
• RQ2 LLMsがMCQAの過程で、質問の意味的理解よりも選択肢の相対的な妥当性に依存する程度はどの程度か？
• RQ3 事前学習またはファインチューニング段階で誤り（不正解）の選択肢を組み込むことで、LLMsの応答の一貫性が向上し、REVASが軽減されるか？
• RQ4 なぜ、誤った選択肢が導入されると、元は正しかったモデルの分類が頻繁に誤りになるのか？
• RQ5 MCQAは、LLMsにおける真の知識習得や推論能力を測る有効な代理指標とみなせるのか、それとも主にパターンマッチングの能力を測っているだけなのか？

主な発見

• 同じ質問が再定式化されたり、選択肢の順序が入れ替えられたりしても、LLMsは顕著な応答ばらつきを示す（REsponse Variability Syndrome：REVASとして定義）。これは、一貫性の欠如する推論を示している。
• 少数の例提示設定では、誤った選択肢が置き換えられたことで、39.23％から57.99％のLLMsが初期の誤った判断を是正した。これは、モデルの予測が選択肢の内容に極めて敏感であることを示している。
• 正解（正しい）選択肢インスタンスのみで事前学習を行うと、MCQAの正確性が15.59％低下し、真偽形式の正確性も16.83％低下した。これは、正解のみの学習が一般化能力に悪影響を及える可能性を示唆している。
• 事前学習段階で誤り（不正解）の選択肢インスタンスを組み込むことで、真偽形式の正確性が30.53％向上し、MCQAの正確性も8.38％向上した。これは、誤った選択肢からの学習の価値を示している。
• 本研究では、LLMsがしばしば『最も誤りが少ない選択肢』を選ぶだけで、正解を選ばないことが確認された。これは、モデルが質問の意味を真正に理解しているとは限らない可能性を示唆している。
• 実証的結果から、標準的なMCQAベンチマークで高い正確性を示すことは、真の理解を反映しているわけではない。なぜなら、選択肢のわずかな摂動に対して性能が著しく低下するからである。