[論文レビュー] Towards Rationality in Language and Multimodal Agents: A Survey

Bowen Jiang, Yangxinyu Xie+7 more|arXiv (Cornell University)|Jun 1, 2024

Multi-Agent Systems and Negotiation被引用数 5

ひとこと要約

この調査は、マルチモーダルおよびマルチエージェントシステムが合理的意思決定へ向かうかを分析し、4つの合理性公理を定義し、単一エージェントLLMを超える grounding、 deliberation、 abstraction を改善する技術をレビューする。

ABSTRACT

This work discusses how to build more rational language and multimodal agents and what criteria define rationality in intelligent systems. Rationality is the quality of being guided by reason, characterized by decision-making that aligns with evidence and logical principles. It plays a crucial role in reliable problem-solving by ensuring well-grounded and consistent solutions. Despite their progress, large language models (LLMs) often fall short of rationality due to their bounded knowledge space and inconsistent outputs. In response, recent efforts have shifted toward developing multimodal and multi-agent systems, as well as integrating modules like external tools, programming codes, symbolic reasoners, utility function, and conformal risk controls rather than relying solely on a single LLM for decision-making. This paper surveys state-of-the-art advancements in language and multimodal agents, assesses their role in enhancing rationality, and outlines open challenges and future research directions. We maintain an open repository at https://github.com/bowen-upenn/Agent_Rationality.

研究の動機と目的

• エージェントと物理的現実と論理に基づくエージェント系に対する合理性を定義する。
• マルチモーダルとマルチエージェントシステムが単一LLMsを超えて合理的意思決定を強化する方法を評価する。
• 合理性を促進する技術（ grounding、 retrieval、 tool use、 deliberation、 neuro-symbolic reasoning）を特定する。
• 評価のギャップを強調し、堅牢な合理性ベンチマークの将来の方向性を提案する。

提案手法

• 4つの公理を持つ合理性の公理的定義を提案する： grounding、 preferences の順序付け、関連性の低い文脈からの独立性、そして不変性。
• マルチモーダル基盤モデルとマルチエージェントフレームワークを、モダリティ間で知識を grounding する手段として調査する。
• リトリーブ併用生成と外部ツールを、記憶と事実 grounding を拡張する境界的合理性の拡張として議論する。
• deliberation と abstraction を、マルチエージェント設定でより堅牢な合理性を達成するメカニズムとして説明する。
• Neuro-symbolic reasoning と symbolic modules を導入し、 invariant と明示的なルールベースの推論をマルチエージェントシステム内で達成する。
• 評価アプローチとベンチマークを分析し、エージェントの合理性とバイアスを測定する。

実験結果

リサーチクエスチョン

• RQ1 エージェントとエージェント系に提案された4つの公理とは何か？
• RQ2 マルチモーダルおよびマルチエージェントシステムは、単一エージェントLLMsと比較して grounding、 invariance、および preference orderability をどのように高度化するのか？
• RQ3 知識 retrieval、ツール使用、 deliberation、および neuro-symbolic reasoning は合理性を達成する上でどのような役割を果たすのか？
• RQ4 現在の合理性評価のギャップは何か、どのような実験やベンチマークが必要か？
• RQ5 マルチモーダル入力と協調エージェントダイナミクスによって合理性を高める将来の方向性は何か？

主な発見

• grounding と invariance は、マルチモーダル基盤モデルと跨モーダル表現によって強化される。
• retrieval-augmented generation と外部ツールは、幻出（ hallucinations ）を低減し、作業記憶を拡張し、事実 grounding を改善する。
• deliberation とマルチエージェント協働（ディベート、反対尋問）は正確性を高め、矛盾を減らす。LM 対 LM の gains などの報告がある（例： FORD で最大 15.7% F1、4.9% 精度、17.0% 翻訳改善、16.0% 推論 gains）。
• Neuro-symbolic reasoning と symbolic modules は invariant、 deterministic reasoning を可能にし、好みの順序付けを改善し、エンドツーエンドの言語のみ推論への依存を減らす。
• comprehensive evaluation metrics for rationality の欠如があり、既存のベンチマークはデータ汚染のリスクがあり、モダリティを跨いだ合理性を一貫して測定していない。