[논문 리뷰] Learning to Cooperate via Policy Search

Leonid Peshkin, Kee-Eung Kim외 2명|arXiv (Cornell University)|2014. 08. 07.

Reinforcement Learning in Robotics참고 문헌 20인용 수 223

한 줄 요약

이 논문은 부분 관측 환경에서 협동적 다중 에이전트 강화 학습을 위한 기울기 기반 분산 정책 탐색 방법을 제안한다. 여기서 에이전트들은 가치 기반 방법에 의존하지 않고 협동 행동을 학습한다. 정책 탐색에서 국소 최적해가 나시 균형과 매우 밀접하게 일치함을 보이며, 부분 관측 축구 도메인에서 시뮬레이션을 통해 효과적인 협동을 입증한다.

ABSTRACT

Cooperative games are those in which both agents share the same payoff structure. Value-based reinforcement-learning algorithms, such as variants of Q-learning, have been applied to learning cooperative games, but they only apply when the game state is completely observable to both agents. Policy search methods are a reasonable alternative to value-based methods for partially observable environments. In this paper, we provide a gradient-based distributed policy-search method for cooperative games and compare the notion of local optimum to that of Nash equilibrium. We demonstrate the effectiveness of this method experimentally in a small, partially observable simulated soccer domain.

연구 동기 및 목표

• 완전한 상태 정보가 확보되지 않는 부분 관측 협동 게임에서 Q-러닝과 같은 가치 기반 방법의 한계를 해결하기 위해.
• 완전한 관측이 필요 없이도 협동 행동을 학습할 수 있도록 분산 정책 탐색 접근법을 개발하기 위해.
• 정책 탐색에서의 국소 최적해와 협동 설정에서의 나시 균형 간의 관계를 조사하기 위해.
• 소규모 부분 관측 시뮬레이션된 축구 환경에서 방법을 경험적으로 평가하기 위해.

제안 방법

• 각 에이전트가 로컬 기울기 업데이트를 사용하여 자체 정책을 독립적으로 최적화하는 기울기 기반 정책 탐색 알고리즘을 적용한다.
• 정책은 함수 근사기를 사용하여 매개변수화되며, 기울기 추정은 REINFORCE와 같은 정책 기반 기울기 방법을 통해 이루어진다.
• 알고리즘은 분산 구조를 취해 에이전트들이 병렬로 학습하면서도 공유된 보상 구조를 통해 조율을 유지한다.
• 에이전트의 목표를 일치시켜 협동 행동을 촉진하기 위해 공유 보상 함수를 사용한다.
• 직접 정책 최적화를 통해 가치 함수 근사화를 피함으로써 부분 관측 설정에 적합한 방법이다.
• 이론적 분석을 통해 정책 공간의 국소 최적해가 게임 이론적 의미에서의 나시 균형과 연결됨을 밝힌다.

실험 결과

연구 질문

• RQ1 가치 기반 방법이 실패하는 부분 관측 협동 게임에서 정책 탐색 방법이 협동 행동을 효과적으로 학습할 수 있는가?
• RQ2 협동 다중 에이전트 시스템에서 정책 탐색의 국소 최적해는 나시 균형과 어떻게 관련이 있는가?
• RQ3 분산 정책 탐색 접근법은 완전한 관측 없이도 안정적이고 효과적인 에이전트 간 조율을 가능하게 하는가?
• RQ4 부분 관측 도메인에서 수렴성과 성능 측면에서 가치 기반 접근법에 비해 제안된 방법은 어떻게 비교되는가?
• RQ5 제한된 상태 정보를 가진 시뮬레이션된 협동 환경에서 이 방법은 높은 수준의 협동을 달성할 수 있는가?

주요 결과

• 제안된 정책 탐색 방법은 부분 관측 시뮬레이션된 축구 도메인에서 에이전트가 협동 행동을 학습하는 데 성공했다.
• 정책 탐색 공간에서의 국소 최적해가 나시 균형과 매우 밀접하게 일치함을 발견하여 이론적 연결성을 검증했다.
• 완전한 상태 접근이 불가능한 상황에서 Q-러닝과 같은 가치 기반 접근법에 비해 성능이 뛰어나, Q-러닝이 실패한 환경에서도 효과를 보였다.
• 알고리즘의 분산 구조 덕분에 병렬 학습을 효율적으로 수행하면서도 조율을 유지할 수 있었다.
• 경험적 결과로는 시뮬레이션 환경에서 안정적인 수렴과 높은 협동 비율을 확인했다.
• 부분 관측에 대한 강건성을 입증하여, 명시적 가치 함수 추정 없이도 효과적인 조율을 달성했다.