[논문 리뷰] Intrinsic Motivation for Encouraging Synergistic Behavior

Rohan Chitnis, Shubham Tulsiani외 2명|arXiv (Cornell University)|2020. 02. 12.

Reinforcement Learning in Robotics참고 문헌 37인용 수 5

한 줄 요약

이 논문은 다중 에이전트 강화학습에서 상호보완적인 행동을 장려하기 위해, 개별 에이전트 행동의 조합로 예측할 수 없는 연합 행동에 대해 보상하는 새로운 내재적 동기 메커니즘을 제안한다. 진짜 상태 또는 공동으로 훈련된 동역학 모델을 사용하여 연합 예측과 조합 예측 간의 차이를 활용함으로써, 희소 보상만 사용하는 것이나 놀라움 기반 내재적 보상보다 훨씬 더 효율적인 학습을 달성하며, 특히 희소 보상이 적용되는 双수 제어 및 다중 에이전트 이동 작업에서 뛰어난 성능을 보인다.

ABSTRACT

We study the role of intrinsic motivation as an exploration bias for reinforcement learning in sparse-reward synergistic tasks, which are tasks where multiple agents must work together to achieve a goal they could not individually. Our key idea is that a good guiding principle for intrinsic motivation in synergistic tasks is to take actions which affect the world in ways that would not be achieved if the agents were acting on their own. Thus, we propose to incentivize agents to take (joint) actions whose effects cannot be predicted via a composition of the predicted effect for each individual agent. We study two instantiations of this idea, one based on the true states encountered, and another based on a dynamics model trained concurrently with the policy. While the former is simpler, the latter has the benefit of being analytically differentiable with respect to the action taken. We validate our approach in robotic bimanual manipulation and multi-agent locomotion tasks with sparse rewards; we find that our approach yields more efficient learning than both 1) training with only the sparse reward and 2) using the typical surprise-based formulation of intrinsic motivation, which does not bias toward synergistic behavior. Videos are available on the project webpage: https://sites.google.com/view/iclr2020-synergistic.

연구 동기 및 목표

• 희소 보상이 존재하는 다중 에이전트 강화학습에서 효율적인 탐색 문제를 해결하기 위해, 상호보완적인 행동이 필수적이지만 발견하기 어려운 상황을 다루는 것.
• 일반적인 호기심이나 놀라움이 아닌, 상호보완적인 행동으로의 학습 편향을 특별히 유도하는 내재적 동기 메커니즘을 개발하는 것.
• 개별 에이전트가 목표를 달성할 수 없는 복잡한 작업, 예를 들어 이중 수용 및 다중 에이전트 이동과 같은 과제에서 샘플 효율적인 학습을 가능하게 하는 것.
• 정책 기반 프레임워크에서 최적화 효율성을 향상시키기 위해 공동으로 훈련된 동역학 모델에서 유도된 분석적 기울기를 활용하는 것.
• 두 명 이상의 에이전트로의 방법 확장 및 점점 더 복잡한 협동 환경에서의 효과성 검증

제안 방법

• 진짜 연합 효과와 개별 에이전트의 행동 예측 조합으로부터 유도된 예측 간의 차이를 기반으로 한 두 가지 내재적 보상 공식을 제안한다. 하나는 진짜 상태를 사용하고, 다른 하나는 공동으로 훈련된 동역학 모델을 사용하여 분석적 기울기를 도출한다.
• 연합 행동의 진짜 결과를 예측하기 위해 연합 전진 모델 $ f^{\text{joint}} $ 를 사용하고, 개별 에이전트 모델의 조합으로 만든 예측 $ f^{\text{composed}} $ 와 비교한다.
• 진짜 상태를 사용하여 진짜 예측과 조합 예측 간의 L2 차이로 내재적 보상 $ r_1^{\text{intrinsic}} $ 를 정의한다.
• 연합 모델 예측과 조합 모델 예측 간의 차이로 $ r_2^{\text{intrinsic}} $ 를 정의하여, 액션을 통해 역전파가 가능하게 한다.
• 내재적 보상을 정책 기반 프레임워크에 통합하여, 샘플 효율성이 향상된 종단 간 훈련을 가능하게 한다.
• 예측을 순차적으로 조합하고 모든 순서 조합을 평가하여 순서 민감도를 줄임으로써, 세 명의 에이전트로의 방법 확장을 수행한다.

실험 결과

연구 질문

• RQ1 희소 보상이 존재하는 상호보완적인 다중 에이전트 과제에서, 조합 불가능한 연합 효과에 보상을 주는 내재적 동기가 학습 효율성을 향상시킬 수 있는가?
• RQ2 연합 예측과 조합 예측 간의 격리 기반 보상 공식이 놀라움 기반 내재적 보상보다 상호보완성을 더 잘 장려하는가?
• RQ3 공동으로 훈련된 동역학 모델에서 도출된 분석적 기울기가 정책 기반 학습에서 샘플 효율성을 향상시키는가?
• RQ4 이 방법은 두 명 이상의 에이전트로 확장 가능한가? 그리고 조합 예측의 순서가 성능에 영향을 미치는가?
• RQ5 외재적 보상이 없이도 내재적 보상만으로도 에이전트가 상호보완적인 행동을 학습할 수 있는가?

주요 결과

• 제안된 내재적 동기 메커니즘은 이중 수용 및 다중 에이전트 이동을 포함한 여섯 가지 시뮬레이션 과제에서, 외재적 희소 보상만 사용하는 경우보다 뚜렷이 뛰어난 성능을 보였다.
• 이론적으로 상호보완성을 명시적으로 장려하지 않는 놀라움 기반 내재적 보상보다도 성능이 뛰어나, 상호보완적인 과제에서 높은 성능을 기록했다.
• 분석적 기울기를 사용하는 공식($ r_2^{\text{intrinsic}} $)은 비미분 가능 버전($ r_1^{\text{intrinsic}} $)보다 더 높은 샘플 효율성을 달성했으며, 학습 곡선의 빠른 수렴을 통해 이를 확인했다.
• 세 명의 에이전트 환경(개미 밀기 및 축구)에서도 높은 성능 유지로, 이 방법이 두 명 이상의 에이전트로의 확장성과 효과성을 입증했다.
• 외재적 보상이 없는 조건($ \lambda = 0 $)에서도 에이전트는 여전히 상호보완적으로 행동하는 것을 학습했으며, 과제를 해결하는 데까지는 도달하지는 않았다. 이는 내재적 보상이 협동 방향 탐색을 유도한다는 것을 확인한다.
• 제거 실험 결과, 놀라움 기반 베이스라인에서 연합 모델의 사전 훈련이 성능 향상에 기여하지 않음을 확인했으며, 이는 핵심 이점이 모델 용량이 아니라 상호보완성 편향에 있음을 입증한다.