[論文レビュー] Examining Inter-Consistency of Large Language Models Collaboration: An In-depth Analysis via Debate

Kai Xiong, Xiao Ding+3 more|arXiv (Cornell University)|May 19, 2023

Topic Modeling被引用数 4

ひとこと要約

本論文は、常識的推論タスクにおける共同作業を行う大規模言語モデル（LLMs）の相互一貫性を研究するための形式的ディベートフレームワークFORDを紹介する。三段階のディベート—公平なディベート、不一致ディベート、ラウンドテーブルディベート—を通じて、LLMsは相互の一貫性に欠ける状況下でも合意に至るが、能力の不均衡があると性能が制限される。GPT-4をジャッジとして用いることで結果がわずかに向上し、共同LLMシステムにおける権威的監視の重要性が浮き彫りになる。

ABSTRACT

Large Language Models (LLMs) have shown impressive capabilities in various applications, but they still face various inconsistency issues. Existing works primarily focus on the inconsistency issues within a single LLM, while we complementarily explore the inter-consistency among multiple LLMs for collaboration. To examine whether LLMs can collaborate effectively to achieve a consensus for a shared goal, we focus on commonsense reasoning, and introduce a formal debate framework (FORD) to conduct a three-stage debate among LLMs with real-world scenarios alignment: fair debate, mismatched debate, and roundtable debate. Through extensive experiments on various datasets, LLMs can effectively collaborate to reach a consensus despite noticeable inter-inconsistencies, but imbalances in their abilities can lead to domination by superior LLMs. Leveraging a more advanced LLM like GPT-4 as an authoritative judge can boost collaboration performance. Our work contributes to understanding the inter-consistency among LLMs and lays the foundation for developing future collaboration methods. Codes and data are available at https://github.com/Waste-Wood/FORD

研究の動機と目的

• 複数のLLMが共同推論を行う際の相互一貫性を調査し、単一モデルの自己一貫性に関する既存の研究を補完すること。
• 現実世界の整合的状況を想定した、LLM協働の体系的・定量的分析を可能にする構造的ディベートフレームワーク（FORD）の設計。
• 能力に差があるLLMがディベート中にどのように相互作用するか、そして共通の信頼できる結論に到達できるかを評価すること。
• より高度なLLM（例：GPT-4）がディベートの要約と最終的合意の決定を行うジャッジとして果たす影響を評価すること。

提案手法

• 三段階のディベートフレームワークを提案：公平なディベート（同等のLLM）、不一致ディベート（能力に差があるLLM）、ラウンドテーブルディベート（複数のLLM）。
• 複数選択式の常識的推論データセット（例：CSQA、PIQA、StrategyQA）を用い、相互一貫性の度合を測定し、協働の成果を数量化する。
• LLMが交互に主張・反論・妥結の可能性を提示する形式化されたディベートプロトコルを採用する。
• LLMの予測の間の相互一貫性を定量的に測定する指標INCONを導入する。
• GPT-4をジャッジとして採用し、ディベートの要約と最終的結論の割り当てを実施。これにより合意の信頼性が向上する。
• 合意が得られない場合には投票メカニズムを適用し、最終的な回答は過半数による合意に基づく。

Figure 1: (a) compromise and (b) refutation in LLMs debates. is the proponent, and is the opponent.

実験結果

リサーチクエスチョン

• RQ1 LLMが固有の相互一貫性の欠如を抱えながらも、構造的ディベートを通じてどの程度合意に至ることができるか。
• RQ2 LLM間の能力の不均衡がディベートのダイナミクスと最終的合意の質にどのように影響するか。
• RQ3 より高度なLLM（例：GPT-4）が、協働の結果を改善するために効果的なジャッジとして機能できるか。
• RQ4 異なるLLMアーキテクチャ（例：チャット型 vs. テキスト生成型）が、ディベート下での共同推論においてどのように比較されるか。
• RQ5 ラウンドテーブルディベートにおいて、ディベートの順序や参加者数が最終結果に顕著に影響を与えるか。

主な発見

• 同じベースモデルから来ているにもかかわらず、異なるLLMタイプは高い相互一貫性の欠如を示し、推論行動における本質的なばらつきを示している。
• GPT-3.5シリーズ内でも、新しいバージョンが古いバージョンを完全に置き換えるわけではない。古いモデルは依然として一部の推論能力を保持している。
• 同等の能力を持つLLMは効果的に協働し、常識的推論タスクで高いパフォーマンスを達成する合意に至ることができる。
• 不一致ディベートでは、優れたLLMが支配的になり、見解を変えることを拒否する傾向があり、弱いモデルは妥結を余儀なくされ、全体のパフォーマンスが低下する可能性がある。
• GPT-4をジャッジとして採用することで協働パフォーマンスがわずかに向上し、データセット全体で平均正答率が80.05％から80.23％に上昇する。
• ラウンドテーブルディベートでは、特定のLLMが一貫して結果に影響を与える支配的パターンが観察され、マルチエージェント協働における構造的バイアスの存在が示唆される。

Figure 2: The overall workflow of FORD on two LLMs. Step 1 : LLMs independently give a choice and explanation for each sample as the stance and argument, respectively. Step 2 : LLMs debate alternately on the inconsistent samples. Step 3 : A judge summarizes the whole debate process and gives the fin