[論文レビュー] EVINCE: Optimizing Multi-LLM Dialogues Using Conditional Statistics and Information Theory

Edward Yi Chang|arXiv (Cornell University)|Aug 26, 2024

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

EVINCEは条件付き統計と情報理論的指標を用いて探索と利用のバランスを取るマルチLLM対話フレームワークであり、LLM間の敵対的討論を通じて診断の精度と頑健性を向上させる。

ABSTRACT

EVINCE (Entropy and Variation IN Conditional Exchanges) is a novel framework for optimizing multi-LLM dialogues using conditional statistics and information theory. It addresses limitations in multi-agent debate (MAS) frameworks, where multiple LLMs ``chat'' without behavior modulation or mutual information quality assessment. Using dual entropy optimization to balance perspective diversity and prior knowledge, $\EVINCE$ provides quantitative tools to dynamically regulate LLM linguistic behaviors. When mutual information is low and both cross-entropy and Wasserstein distance are high, EVINCE promotes contentious dialogues to expose diverse perspectives and uncover inconsistencies. Conversely, as cross-entropy decreases and mutual information stabilizes, it transitions discussions into a conciliatory phase, encouraging compromise and acknowledgment of valid points. Using information-theoretic metrics and optimizing mutual information, $\EVINCE$ emerges as a structured and highly effective framework for multi-LLM collaboration.

研究の動機と目的

• LLMsにおける汎用人工知能の特徴：多様性、適応性、推論を進展させる。
• 多様で構造化されたマルチエージェント対話を促進することにより、幻覚とバイアスを緩和する。
• 条件付き統計と情報理論を協調的なLLM相互作用に結びつける理論的・経験的基盤を提供する。
• 医療診断における経験的利益を実証し、意思決定全般への影響を論じる。

提案手法

• EVINCEの3本柱を導入する：Inclusiveness Exploration Information Flow Dynamics, および Reasoning Quality and Coherence.
• エントロピー、相互情報、Jensen-Shannon発散、クロスエントロピー、KLダイバージェンス、Wasserstein距離などの情報理論的指標を定義し活用して討論を支配する。
• WD, MI, and CRITに基づく収束基準が満たされるまで、初期の対立性を高くして二LLMの構造化対話を実行するEVINCEアルゴリズムを提案する。
• CRITを組み込み、議論の質を評価し、 prior SocraSynth reasoning (CRIT algorithm)と統合する。
• 探索（高エントロピー）と利用（低エントロピー）をバランスさせる二重エントロピーフレームワークを用いて頑健な予測を実現する。
• エントロピー条件下での最適なLLMペアリングのための理論的 Entropy Duality Theorem (EDT)を提供する。
• 議論の質と情報量測定に基づく重み付けスキームを用いて最終予測を集約する。

実験結果

リサーチクエスチョン

• RQ1 構造化された対立的LLM対話は、診断タスクにおいて単一モデルの基準より予測精度を向上させるか？
• RQ2 EVINCEの二重エントロピーアプローチは、探索と利用をバランスさせてマルチLLM討論におけるバイアスと幻覚を低減できるか？
• RQ3 情報理論的指標（WD、MI、entropy、JS発散）は対話の進行と収束をどのように追跡するか？
• RQ4 高エントロピーと低エントロピーのLLMを組み合わせると、相補的な誤りを生み出し、より高い診断精度を得られるか？
• RQ5 医療診断とバイアス検出のシナリオにおいて、EVINCEはどのような経験的利得を達成するか？

主な発見

• EVINCE対応のGPT-4とClaude-3またはGemini-3の組み合わせは、討論前のベースラインより診断精度を4-5パーセンテージポイント向上させる。
• 304人の患者ケースでの自由予測では、GPT-4は初期精度82.8%を示し、GPT-4/Claude-3の組み合わせでEVINCEが87.5%を達成した。
• 討論ラウンドを通じてエントロピーの安定化、相互情報の増加、Wasserstein距離の減少を観察し、収束と情報交換を示している。
• 混同行列分析はLLM間に補完的な誤りパターンを示し、高エントロピー対低エントロピーのペアリングが頑健性を向上させるというEDTの考えを支持する。
• 本研究は、Kaggleデータセットから抽出された304インスタンスのサブセットを用い、重複削除前の総レコード4,921件、40疾患に跨り、評価にはトップ5予測（k=5）を使用。
• EVINCEは構造化対話を通じて可能な誤診を特定し、情報修正を導く可能性を示している。