[논문 리뷰] Towards Rationality in Language and Multimodal Agents: A Survey

Bowen Jiang, Yangxinyu Xie외 7명|arXiv (Cornell University)|2024. 06. 01.

Multi-Agent Systems and Negotiation인용 수 5

한 줄 요약

이 설문은 다중 모달 및 다중 에이전트 시스템이 합리적인 의사결정으로 이동하는지 여부를 분석하고, 네 가지 합리성 공리를 정의하며 단일 에이전트 LLM에 비해 grounding, deliberation, abstraction을 개선하는 기법을 검토한다.

ABSTRACT

This work discusses how to build more rational language and multimodal agents and what criteria define rationality in intelligent systems. Rationality is the quality of being guided by reason, characterized by decision-making that aligns with evidence and logical principles. It plays a crucial role in reliable problem-solving by ensuring well-grounded and consistent solutions. Despite their progress, large language models (LLMs) often fall short of rationality due to their bounded knowledge space and inconsistent outputs. In response, recent efforts have shifted toward developing multimodal and multi-agent systems, as well as integrating modules like external tools, programming codes, symbolic reasoners, utility function, and conformal risk controls rather than relying solely on a single LLM for decision-making. This paper surveys state-of-the-art advancements in language and multimodal agents, assesses their role in enhancing rationality, and outlines open challenges and future research directions. We maintain an open repository at https://github.com/bowen-upenn/Agent_Rationality.

연구 동기 및 목표

• 에이전트와 물리적 현실 및 논리에 grounded 된 에이전트 시스템의 합리성 정의.
• 다중 모달 및 다중 에이전트 시스템이 단일 LLM보다 합리적 의사결정을 강화하는 방식을 평가.
• 합리성을 촉진하는 기법들( grounding, retrieval, 도구 사용, deliberation, 뇌-심볼릭 추론) 식별.
• 강건한 합리성 벤치마크를 위한 평가 격차를 강조하고 향후 방향을 제시하는 방향으로 제시한다.

제안 방법

• 네 가지 공리( grounding, 선호의 순서 가능성, 무관한 맥락으로부터의 독립성, 불변성 )를 가진 합리성의 공리적 정의를 제안한다.
• 다중 모달 기반 모델과 다중 에이전트 프레임워크를 모달 간 지식을 grounding하는 수단으로 검토한다.
• Bounded rationality를 확장하여 기억력 및 사실적 grounding을 확장하는 검색 강화 생성 및 외부 도구의 확장을 논의한다.
• 다중 에이전트 설정에서 더 견고한 합리성을 달성하기 위한 메커니즘으로 deliberation과 추상화를 설명한다.
• 불변성과 명시적 규칙 기반 추론을 달성하기 위한 신경-상징적 추론 및 기호 모듈을 소개한다.
• 에이전트의 합리성과 편향을 측정하기 위한 평가 접근법과 벤치마크를 분석한다.

실험 결과

연구 질문

• RQ1 에이전트 및 에이전트 시스템에 대해 제안된 네 가지 합리성 공리는 무엇인가?
• RQ2 다중 모달 및 다중 에이전트 시스템은 단일 에이전트 LLM에 비해 grounding, 불변성 및 선호의 순서 가능성을 어떻게 향상시키는가?
• RQ3 지식 검색, 도구 사용, deliberation, 신경-상징적 추론이 합리성을 달성하는 데 어떤 역할을 하는가?
• RQ4 현재 합리성 평가의 격차는 무엇이며 어떤 실험이나 벤치마크가 필요함?
• RQ5 다중 모달 입력 및 협력적 에이전트 동학으로 합리성을 강화할 수 있는 미래 방향은 무엇인가?

주요 결과

• 다중 모달 기반 모델과 교차 모달 표현으로 grounding과 불변성이 강화된다.
• 검색 강화 생성 및 외부 도구는 환상을 줄이고 작업 기억을 확장하여 사실적 grounding을 개선한다.
• deliberation과 다중 에이전트 협력(토론, 상호 심문)은 정확성을 높이고 불일치를 줄이며, LM 대 LM 이득으로 보고되는 예: FORD에서 F1 최대 15.7%, 정확도 4.9%, 번역에서 17.0% 향상, 추론에서 16.0% 향상 등.
• 신경-상징적 추론과 기호 모듈은 불변하고 결정적 추론 및 선호의 순서 가능성 향상을 가능하게 하여 엔드투엔드 언어 중심 추론에 대한 의존도를 줄인다.
• 합리성에 대한 포괄적 평가 지표의 부재가 있으며, 기존 벤치마크는 데이터 오염 위험이 있고 모달리티 간 합리성을 일관되게 측정하지 못한다.