[논문 리뷰] Comparison of Multi-agent and Single-agent Inverse Learning on a Simulated Soccer Example

Xiaomin Lin, Peter A. Beling외 1명|arXiv (Cornell University)|2014. 03. 26.

Reinforcement Learning in Robotics참고 문헌 14인용 수 5

한 줄 요약

이 논문은 상태 전이가 연합 행동에 의존하는 시뮬레이션된 축구 환경에서 단일 에이전트 IRL과 다중 에이전트 IRL(MIRL)을 비교한다. 베이지안 IRL을 상태 및 행동에 의존하는 보상 함수를 다룰 수 있도록 확장하여, 다중 에이전트 시스템에 내재된 균형 동역학을 포착하지 못하는 IRL의 한계를 보완한다. 결과적으로 MIRL은 진정한 보상 함수를 복원하고 더 우수한 후행 정책을 유도하는 데서 IRL을 뚜렷이 능가한다.

ABSTRACT

We compare the performance of Inverse Reinforcement Learning (IRL) with the relative new model of Multi-agent Inverse Reinforcement Learning (MIRL). Before comparing the methods, we extend a published Bayesian IRL approach that is only applicable to the case where the reward is only state dependent to a general one capable of tackling the case where the reward depends on both state and action. Comparison between IRL and MIRL is made in the context of an abstract soccer game, using both a game model in which the reward depends only on state and one in which it depends on both state and action. Results suggest that the IRL approach performs much worse than the MIRL approach. We speculate that the underperformance of IRL is because it fails to capture equilibrium information in the manner possible in MIRL.

연구 동기 및 목표

• 상태 전이가 연합 행동에 의존하는 다중 에이전트 환경에서 단일 에이전트 IRL이 진정한 보상을 효과적으로 복원할 수 있는지 평가하기 위해.
• 보상 함수를 상태뿐 아니라 행동에 의존하도록 확장하여, 기존의 상태 기반 보상에 한정되지 않는 베이지안 IRL 접근법을 개선하기 위해.
• 두 명의 플레이어가 참여하는 0합 확률적 게임 환경에서 IRL과 MIRL의 진정한 보상 복원 능력과 고품질 후행 정책 유도 능력을 비교하기 위해.
• MIRL이 균형 행동을 모델링할 수 있는 능력이 IRL의 수동적 환경 가정에 비해 보다 우수한 보상 추론을 가능하게 하는지 탐구하기 위해.

제안 방법

• 보상 함수를 상태와 행동의 함수로 모델링하여 상태-행동 복합 분포에 대한 추론이 가능하도록 하여, 상태 및 행동에 의존하는 보상 함수를 다룰 수 있도록 베이지안 IRL을 확장하였다.
• 정의된 상태 전이, 보상, 행동 공간을 갖춘 시뮬레이션된 축구 환경을 바탕으로 두 플레이어 0합 확률적 게임 모델을 수립하였다.
• 관측된 연합 정책을 기반으로 하여 나시 균형 제약 조건 하에 보상 행렬과 정책을 동시에 추론하는 베이지안 프레임워크를 활용해 MIRL을 적용하였다.
• IRL과 MIRL이 복원한 보상 함수로부터 유도된 최소최대 정책의 성능을 측정하여, 학습된 보상의 품질을 몬테카를로 시뮬레이션을 통해 평가하였다.
• 약한, 중간, 강한 평균; 강한 공분산 등의 다양한 사전 설정을 활용하여 보상 복원의 강건성을 다양한 신뢰 구조 하에서 평가하였다.
• 시각화를 통해 복원된 보상과 PSS(슈팅 골 확률) 분포를 비교하고, 시뮬레이션된 게임에서의 승패 결과를 정량화하여 IRL과 MIRL의 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 기타 에이전트가 합리적이고 상호작용하는 다중 에이전트 환경에서 기존의 IRL이 진정한 보상을 효과적으로 복원할 수 있는가?
• RQ2 IRL을 상태 및 행동에 의존하는 보상 함수를 다룰 수 있도록 확장하면 다중 에이전트 환경에서의 성능 향상이 이루어지는가?
• RQ3 MIRL이 균형 행동을 모델링할 수 있는 능력이 IRL에 비해 보상 복원 정확도에 어떤 영향을 미치는가?
• RQ4 IRL이 복원한 보상이 MIRL에 비해 얼마나 많은 정도로 열악한 후행 정책을 유도하는가?
• RQ5 MIRL은 보상 구조에 대한 다양한 사전 가정 하에서도 일관되게 IRL을 능가하는가?

주요 결과

• 모든 실험 설정에서 IRL은 MIRL에 비해 진정한 보상 분포를 복원하는 데서 뚜렷한 열등성을 보이며, IRL이 학습한 보상은 항상 진정한 보상 분포에서 크게 벗어나 있다.
• 모든 구성(약한, 중간, 강한 평균)에서 MIRL이 복원한 보상은 진정한 보상과 강한 겹침을 보이며, 반면 IRL 결과는 항상 진정한 값에서 멀리 떨어져 있다.
• IRL이 복원한 PSS(골 슈팅 확률)는 진정한 PSS와 잘 맞지 않지만, MIRL은 진정한 값과 밀접하게 일치하는 PSS 분포를 복원한다.
• 몬테카를로 시뮬레이션에서 양 플레이어가 MIRL이 복원한 보상을 사용할 경우, β=0, 0.6, 1일 때 모두 B가 100%의 게임에서 승리하여 정책 품질이 뛰어나다는 것을 확인하였다.
• 플레이어 A가 IRL이 복원한 보상을 사용하고 플레이어 B가 MIRL이 복원한 보상을 사용할 경우, β=1일 때 B가 62.30%의 게임에서 승리하여 MIRL이 뚜렷한 성능 우위를 점한다.
• 결과는 IRL이 균형 정보를 포착하지 못하는 반면, MIRL의 게임 이론적 기반 덕분에 보다 정확한 보상 추론과 더 나은 정책 생성이 가능하다는 것을 시사한다.