[논문 리뷰] A General Framework for Interacting Bayes-Optimally with Self-Interested Agents using Arbitrary Parametric Model and Model Prior

Trong Nghia Hoang, Kian Hsiang Low|arXiv (Cornell University)|2013. 04. 07.

Reinforcement Learning in Robotics참고 문헌 7인용 수 8

한 줄 요약

이 논문은 자기 이기적인 에이전트를 임의의 매개변수 모델과 사전 분포를 사용하여 모델링할 수 있도록 베이지안 강화 학습을 확장하는 일반적인 프레임워크인 상호작용 베이지안 강화 학습(I-BRL)을 제안한다. 이는 도메인 지식 통합을 통해 상태 간 일반화를 향상시킨다. 실험 결과 I-BRL는 FDM 기반 및 표준 MARL 방법보다 성능과 적응성에서 뛰어나다.

ABSTRACT

Recent advances in Bayesian reinforcement learning (BRL) have shown that Bayes-optimality is theoretically achievable by modeling the environment's latent dynamics using Flat-Dirichlet-Multinomial (FDM) prior. In self-interested multi-agent environments, the transition dynamics are mainly controlled by the other agent's stochastic behavior for which FDM's independence and modeling assumptions do not hold. As a result, FDM does not allow the other agent's behavior to be generalized across different states nor specified using prior domain knowledge. To overcome these practical limitations of FDM, we propose a generalization of BRL to integrate the general class of parametric models and model priors, thus allowing practitioners' domain knowledge to be exploited to produce a fine-grained and compact representation of the other agent's behavior. Empirical evaluation shows that our approach outperforms existing multi-agent reinforcement learning algorithms.

연구 동기 및 목표

• 자기 이기적인 에이전트를 모델링하는 데 있어 평탄한 딜레르트-다항분포(FDM) 사전 분포의 한계를 해결하기 위해, 상태 간 전이 동역학이 독립적이라는 가정을 하지 않고 도메인 지식 통합이 가능하도록 일반화된 모델링 기법을 개발하는 것.
• FDM에 국한되지 않고 임의의 매개변수 모델과 사전 분포를 사용하여 상대방 행동에 대한 구조적이고 도메인 특화된 지식을 표현할 수 있도록 하여 실무자들이 더 유연한 지식 통합을 가능하게 하는 것.
• 제한된 상호작용 시간 동안 비단미로적(non-myopic)이고 성능 중심의 의사결정을 가능하게 하는 베이즈 최적 상호작용 프레임워크를 개발하는 것.
• FDM 가정이 붕괴되는 실제 자기 이기적인 다에이전트 환경에서 이론적 베이즈 최적성과 실무 적용 간 격차를 메우는 것.

제안 방법

• I-BRL는 FDM 가정에 얽매이지 않고 임의의 매개변수 모델과 사전 분포를 사용하여 상대방 행동을 표현할 수 있도록 베이지안 강화 학습을 일반화한다.
• 이 프레임워크는 상대방 모델에 대한 사후 분포를 유지하는 믿음 업데이트 메커니즘을 사용하여 불확실성 하에서 베이즈 최적 행동 선택을 가능하게 한다.
• 상태 간 공유 잠재 매개변수와 매개변수 결합을 지원함으로써, 모든 상태에서 동일한 행동을 가정하지 않고도 상대방 행동의 일반화를 가능하게 한다.
• 유연한 모델 사전 분포(예: 가우시안 프로세스 또는 계층적 사전 분포)를 통해 도메인 지식을 통합하여 상대방 행동의 공간적 또는 행동적 상관관계를 포착한다.
• 몬테 카를로 샘플링 또는 변분 추론을 사용하여 모든 가능한 상대방 모델에 대한 기대 효용을 계산함으로써 근사적인 베이즈 최적 정책 유도를 가능하게 한다.
• 단순히 즉각적인 보상뿐 아니라 향후 믿음 업데이트와 믿음 시퀀스의 기대 효용을 고려함으로써 미래를 고려하는 비단미로적 계획을 지원한다.

실험 결과

연구 질문

• RQ1 자기 이기적인 다에이전트 시스템에서 상대방 행동을 모델링하기 위해 임의의 매개변수 모델과 사전 분포를 지원할 수 있는 일반적인 베이지안 강화 학습 프레임워크를 설계할 수 있는가?
• RQ2 상대방 행동에 대한 도메인 특화 지식을 통합할 경우 FDM 기반 모델 대비 성능 향상과 일반화 능력 향상이 얼마나 향상되는가?
• RQ3 제한된 상호작용 시간 동안 평균적인 성능 측면에서 I-BRL이 FDM 기반 및 표준 MARL 알고리즘보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 최악의 성능 보장에 의존하지 않고도 I-BRL이 비단미로적이고 베이즈 최적 의사결정을 지원할 수 있는가?

주요 결과

• I-BRL는 다양한 시뮬레이션 환경에서 누적 보상과 수렴 속도 측면에서 FDM 기반 베이지안 MARL 방법인 BPVI보다 뚜렷이 뛰어난 성능을 보였다.
• 공유 잠재 매개변수를 활용하여 상태 간 상대방 행동의 효과적인 일반화를 가능하게 하여 FDM의 독립성 가정을 초월했다.
• 실험 결과 도메인 지식 통합(예: 보행자 운동의 공간적 상관관계 또는 일관된 주행 파라미터)이 제약 없거나 독립적인 모델링 대비 뛰어난 성능을 내는 것으로 확인되었다.
• 수렴에 초점을 맞춘 MARL 알고리즘 대비 I-BRL는 상호작용 시간이 제한된 환경에서 평균 성능이 높게 유지되었다.
• 효율적인 사후 근사 및 샘플링 기법을 사용함으로써 복잡한 모델에서도 계산 가능성을 유지했다.
• FDM 가정을 완화하는 것이 실제 다에이전트 시나리오에서 베이즈 최적 정책의 실용적 구현을 위해 필수적임을 결과가 확인했다.