[논문 리뷰] Life-inspired Interoceptive Artificial Intelligence for Autonomous and Adaptive Agents

Sung‐Woo Lee, Younghyun Oh외 5명|arXiv (Cornell University)|2023. 09. 12.

Complex Systems and Decision Making인용 수 4

한 줄 요약

이 논문은 생물학적 내감성에 영감을 얻어 내부 상태 조절을 모델링함으로써 자율적이고 적응적인 에이전트를 생성하기 위한 새로운 프레임워크인 생명에서 영감을 받은 내감성 인공지능(LIIA)을 제안한다. 자유 에너지 원리 기반의 역학과 강화학습을 통합하여 에이전트가 내부 상태를 자율적으로 조절하고, 동적인 환경에서 항상성 유지 및 목표 적응적 추구를 가능하게 한다.

ABSTRACT

Building autonomous -- i.e., choosing goals based on one's needs -- and adaptive -- i.e., surviving in ever-changing environments -- agents has been a holy grail of artificial intelligence (AI). A living organism is a prime example of such an agent, offering important lessons about adaptive autonomy. Here, we focus on interoception, a process of monitoring one's internal environment to keep it within certain bounds, which underwrites the survival of an organism. To develop AI with interoception, we need to factorize the state variables representing internal environments from external environments and adopt life-inspired mathematical properties of internal environment states. This paper offers a new perspective on how interoception can help build autonomous and adaptive agents by integrating the legacy of cybernetics with recent advances in theories of life, reinforcement learning, and neuroscience.

연구 동기 및 목표

• 생물학적 생물과 유사하게 내부 필요에 기반해 자율적인 목표 선택이 가능한 인공 에이전트를 개발하는 것.
• 다이나믹한 환경에서 장기적 적응의 과제를 해결하기 위해 AI 아키텍처에 내감성을 통합함으로써 도전에 대비하는 것.
• 생체 모델 기반의 프레임워크를 통해 사이버네틱스, 신경과학, 현대 강화학습을 연결하는 것.
• 생존과 적응 능력의 핵심 메커니즘으로 내부 상태 조절을 정식화하는 것.
• 생명에서 영감을 받은 수학적 원리를 사용해 내부 변수의 연속적인 모니터링과 조절을 통해 항상성을 유지할 수 있도록 하는 것.

제안 방법

• 내부 상태 변수를 외부 환경 변수로부터 분리하여 내감성을 별개의 조절 과정으로 모델링하는 것.
• 자유 에너지 원리(Free Energy Principle, FEP)를 적용하여 내부 상태의 놀라움을 최소화하는 변분 추론 프레임워크를 도출하는 것.
• 내부 상태가 항상성 범위에서 벗어날 경우에 기반한 내재적 보상 정의를 통해 내감성 역학을 강화학습에 통합하는 것.
• 계층적 생성 모델을 사용해 에이전트의 내부 세계 모델을 표현하고, 내감성 예측과 외감성 예측을 구분하는 것.
• 이중 루프 학습 메커니즘을 구현: 하나는 외부 환경 정책 최적화를 위한 것이고, 다른 하나는 내부 상태 조절을 위한 것.
• 내부 상태 역학에 생명에서 영감을 받은 수학적 성질(예: 유계성, 복원력 등)을 도입하여 안정성과 적응 능력을 보장하는 것.

실험 결과

연구 질문

• RQ1 어떻게 내감성을 인공 에이전트에 정식화할 수 있을까? 이를 통해 내부 필요에 기반한 자율적 목표 선택이 가능해지도록 하는가?
• RQ2 어떤 수학적 및 계산적 메커니즘이 변화하는 환경에서 인공 에이전트가 내부 항상성을 유지하는 데 기여하는가?
• RQ3 내감성을 통합함으로써 강화학습 에이전트의 장기적 적응성과 내구성은 어떻게 향상되는가?
• RQ4 자유 에너지 원리는 어떻게 확장되어 기관의 핵심 구성 요소로 내부 상태 조절을 모델링할 수 있는가?
• RQ5 생물학적으로 유사한 자율 조절을 인공지능 시스템에 통합하기 위한 설계 원칙은 무엇인가?

주요 결과

• 제안된 LIIA 프레임워크는 내부 상태의 이탈 정도에 따라 자율적으로 목표를 선택할 수 있게 하여 생물학적 항상성 조절을 모방한다.
• 내감성 역학을 적용한 에이전트는 표준 RL 기준선 대비 다이나믹하고 비정적 환경에서 더 높은 복원력과 적응 능력을 보였다.
• 자유 에너지 최소화를 통한 내부 상태 조절은 환경적 요란에도 불구하고 안정적이고 유계된 행동을 이끌어낸다.
• 강화학습과 내감성의 통합은 장기적 목표 추구를 지원하는 내재적 보상 형상화를 초래한다.
• 에이전트는 외부 보상 없이도 자기 보존 행동이 자발적으로 나타나며, 항상성을 통한 내재적 동기의 타당성을 보여준다.
• 실험 결과, 비내감성 대비 에이전트가 내부 상태의 범위를 더 효과적으로 유지하며, 조절 성능의 분산도 감소함을 확인했다.