[논문 리뷰] Provably Efficient Online Agnostic Learning in Markov Games.

Yi Tian, Yuanhao Wang외 2명|arXiv (Cornell University)|2020. 10. 28.

Reinforcement Learning in Robotics참고 문헌 22인용 수 5

한 줄 요약

이 논문은 관측되지 않는 상대의 행동을 가진 마르코프 게임에 대해 온라인 아그노스틱 러닝 알고리즘의 첫 번째 증명 가능하게 효율적인 방법을 제안하며, $K$ 에피소드 후 $ ilde{\mathcal{O}}(K^{3/4})$ 의 하위선형 리그레트 한계를 달성한다. 이 방법은 상대의 행동 공간 크기와 무관하며, 행동이 관측 가능한 경우조차도 이전 연구 대비 지수적 요소로 향상된다.

ABSTRACT

We study online agnostic learning, a problem that arises in episodic multi-agent reinforcement learning where the actions of the opponents are unobservable. We show that in this challenging setting, achieving sublinear regret against the best response in hindsight is statistically hard. We then consider a weaker notion of regret, and present an algorithm that achieves after $K$ episodes a sublinear $ ilde{\mathcal{O}}(K^{3/4})$ regret. This is the first sublinear regret bound (to our knowledge) in the online agnostic setting. Importantly, our regret bound is independent of the size of the opponents' action spaces. As a result, even when the opponents' actions are fully observable, our regret bound improves upon existing analysis (e.g., (Xie et al., 2020)) by an exponential factor in the number of opponents.

연구 동기 및 목표

• 관측되지 않는 상대의 행동을 가진 에피소드형 다중 에이전트 강화 학습에서 온라인 아그노스틱 러닝의 과제를 해결하기 위해.
• 관측되지 않는 상대 행동 하에서 후행적으로 최적의 반응에 대해 하위선형 리그레트를 달성하는 데 통계적 난이도를 분석하기 위해.
• 온라인 아그노스틱 설정에서 증명 가능하게 하위선형 리그레트를 달성할 수 있도록 하는 더 약한 리그레트 개념을 제안하기 위해.
• 상대의 행동 공간 크기와 무관한 리그레트를 달성하는 알고리즘을 설계하여 확장성 향상시키기 위해.
• 특히 상대의 행동이 관측 가능한 경우에 이전 연구 대비 향상된 리그레트 한계를 달성하기 위해.

제안 방법

• 후행적으로 최적의 반응에 대해 하위선형 리그레트를 달성하는 데 통계적 난이도를 피하기 위해 더 약한 리그레트 개념을 도입하기 위해.
• 새로운 분석 프레임워크를 활용하여 $K$ 에피소드 후 $\.\tilde{\mathcal{O}}(K^{3/4})$ 리그레트를 달성하는 알고리즘을 설계하기 위해.
• 구조화된 탐색 및 추정 메커니즘을 통해 리그레트 한계를 상대의 행동 공간 크기에서 분리하기 위해.
• 상대 행동의 부분 관찰 가능성을 고려한 마르코프 게임에 적합한 온라인 학습 기법을 사용하기 위해.
• 집중 불등식과 리그레트 분해를 적용하여 최종 한계를 유도하기 위해.
• 리그레트 한계가 상대의 수나 그들의 행동 집합의 크기와 무관하게 하위선형으로 유지되도록 보장하기 위해.

실험 결과

연구 질문

• RQ1 관측되지 않는 상대 행동을 가진 온라인 아그노스틱 러닝에서 후행적으로 최적의 반응에 대해 하위선형 리그레트를 달성할 수 있는가?
• RQ2 더 약한 리그레트 개념이 이 설정에서 증명 가능하게 하위선형 리그레트를 가능하게 할 수 있는가?
• RQ3 리그레트 한계를 상대의 행동 공간 크기와 무관하게 만들 수 있는가?
• RQ4 상대의 행동이 관측 가능한 경우, 제안된 알고리즘의 리그레트는 기존 방법과 비교해 어떻게 되는가?
• RQ5 마르코프 게임에서 온라인 아그노스틱 러닝 설정에서 달성 가능한 최적의 리그레트 한계는 무엇인가?

주요 결과

• 논문은 관측되지 않는 상대 행동을 가진 온라인 아그노스틱 설정에서 후행적으로 최적의 반응에 대해 하위선형 리그레트를 달성하는 것이 통계적으로 어렵다는 것을 입증한다.
• 제안된 알고리즘은 $K$ 에피소드 후 $\.\tilde{\mathcal{O}}(K^{3/4})$ 의 하위선형 리그레트 한계를 달성하며, 이는 이 설정에서 처음으로 이루어지는 결과이다.
• 리그레트 한계는 상대의 행동 공간 크기와 무관하여, 큰 또는 알 수 없는 행동 집합으로의 확장성 향상을 가능하게 한다.
• 특히 상대의 행동이 관측 가능한 경우조차도, 이전 연구(예: Xie 등, 2020)에 비해 상대의 수에 대해 지수적 요소로 향상된 리그레트 한계를 달성한다.
• 부분 관찰 조건 하에서 마르코프 게임의 온라인 아그노스틱 러닝에 대해 증명 가능하게 효율적인 해결책을 제공한다.
• 분석을 통해 더 약한 리그레트 개념이 행동 공간 크기와 무관하게 하위선형 리그레트를 달성하는 데 충분함을 입증한다.