[논문 리뷰] Position Paper: Agent AI Towards a Holistic Intelligence

Qiuyuan Huang, Naoki Wake외 14명|arXiv (Cornell University)|2024. 02. 28.

Multi-Agent Systems and Negotiation인용 수 9

한 줄 요약

본 위치 논문은 Agent AI를 구현적이고 다중모달한 시스템으로 정의하여 대형 foundation models를 통합하고 응집력 있는 상호작용 에이전트로 만들며, holistic intelligence를 향한 Agent Foundation Models, 학습, 기억, 행동, 인지의 프레임워크를 제시한다.

ABSTRACT

Recent advancements in large foundation models have remarkably enhanced our understanding of sensory information in open-world environments. In leveraging the power of foundation models, it is crucial for AI research to pivot away from excessive reductionism and toward an emphasis on systems that function as cohesive wholes. Specifically, we emphasize developing Agent AI -- an embodied system that integrates large foundation models into agent actions. The emerging field of Agent AI spans a wide range of existing embodied and agent-based multimodal interactions, including robotics, gaming, and healthcare systems, etc. In this paper, we propose a novel large action model to achieve embodied intelligent behavior, the Agent Foundation Model. On top of this idea, we discuss how agent AI exhibits remarkable capabilities across a variety of domains and tasks, challenging our understanding of learning and cognition. Furthermore, we discuss the potential of Agent AI from an interdisciplinary perspective, underscoring AI cognition and consciousness within scientific discourse. We believe that those discussions serve as a basis for future research directions and encourage broader societal engagement.

연구 동기 및 목표

• 환원주의 AI에서 응집적 시스템으로 작동하는 구현적이고 통합된 에이전트로의 전환을 촉진한다.
• Agent Foundation Model을 구현적 지능의 핵심 구성 요소로 도입한다.
• holistic agent behavior를 가능하게 하는 다섯 모듈 아키텍처(환경 지각, 학습, 기억, 행동, 인지)를 개략적으로 제시한다.
• Agent AI에서 학습, 기억, 행동 예측 및 교차 모달 통합을 위한 방법론적 접근법을 논의한다.
• AGI 유사한 역량으로 Agent AI를 진전시키기 위한 윤리적, 사회적 및 다학제적 고려사항을 강조한다.

제안 방법

• 언어, 시각, 기억, 행동을 구현체 에이전트를 위해 통합하는 Agent Foundation Model 프레임워크를 제안한다.
• Describe how the Agent Transformer processes multimodal inputs and predicts low-level actions, high-level intentions, and instructions.

Figure 2: An Agent AI paradigm for supporting embodied multi-modal generalist agent systems. There are five main modules as shown: (1) Agent in Environment and Perception with task-planning and observation, (2) Agent Learning, (3) Memory, (4) Action, and (5) Cognition and Consciousness. We believe t

실험 결과

연구 질문

• RQ1 에이전트 기반의 다중모달 foundation model을 어떻게 학습시켜 도메인 전반에 걸쳐 미세한 행동과 고수준 의도를 모두 예측하도록 할 수 있는가?
• RQ2 구체적 인지, 기억, 지각, 행동의 응집을 가능하게 하는 아키텍처와 학습 전략은 구현된 에이전트에서 holistic intelligence를 달성하는 데 어떤가?
• RQ3 AGI 유사한 역량을 향해 Agent AI를 추구할 때 제기되는 윤리적 및 사회적 고려사항은 무엇인가?
• RQ4 로보틱스, 게임, 헬스케어 전반에서 강건성과 일반화를 개선하기 위해 에이전트–환경–인간 상호작용을 어떻게 최적화할 수 있는가?

주요 결과

• 본 논문은 Agent AI를 위한 Environment and Perception, Learning, Memory, Action, Cognition의 다섯 모듈로 구성된 응집적 아키텍처를 제시한다.
• Agent Foundation Model과 Agent Transformer를 과거 상호작용을 맥락으로 사용하여 저수준 행동, 에이전트 유형, 고수준 지시를 예측할 수 있는 다중모달 인코더로 소개한다.
• RL, IL, 및 RLHF는 로봇 공학, 게임, 건강관리 등을 포함한 다양한 환경에서 에이전트를 학습시키는 필수 학습 패러다임으로 제시된다.
• 공간적 및 시간적 용어로의 최적화가 논의되며, 다중 에이전트 조정, 작업 일정 수립, 협약 발견을 포함하여 인간 및 다른 에이전트와의 협력을 향상시킨다.
• 연속적인 환경 상호작용과 인간 피드백을 통한 트랜스포머의 자기 개선 경로가 제시되어 정책과 행동이 점진적으로 향상된다.
• 분류 프레임워크는 Agent AI를 물리적·가상 환경 전반의 조작 및 의도 행동과 비 구현형 다중모달 에이전트를 포함하도록 묶어 기존 연구를 맵핑하고 향후 방향을 정의한다.

Figure 3: Overview of an interactive agent foundation model framework. The transformer is designed to process multi-modal information that conveys various levels of abstraction. This approach facilitates a comprehensive understanding of the context, thus enhancing coherent actions. Through learning