[논문 리뷰] Multi-Advisor Reinforcement Learning

Romain Laroche, Mehdi Fatemi외 2명|arXiv (Cornell University)|2017. 04. 03.

Reinforcement Learning in Robotics참고 문헌 26인용 수 14

한 줄 요약

이 논문은 단일 에이gent 강화학습 문제를 여러 전문화된 지도자로 분해하는 프레임워크인 다중지도자강화학습(MAd-RL)을 제안한다. 각 지도자는 서로 다른 초점을 바탕으로 행동가치 추정을 제공한다. 공감적 계획법은 이기적인 방법과 무관한 방법보다 뛰어나며, 노이즈에 강건하고, 전체 상태공간을 사용할 경우 수렴 보장을 갖는 근사 최적 성능을 달성한다.

ABSTRACT

We consider tackling a single-agent RL problem by distributing it to $n$ learners. These learners, called advisors, endeavour to solve the problem from a different focus. Their advice, taking the form of action values, is then communicated to an aggregator, which is in control of the system. We show that the local planning method for the advisors is critical and that none of the ones found in the literature is flawless: the egocentric planning overestimates values of states where the other advisors disagree, and the agnostic planning is inefficient around danger zones. We introduce a novel approach called empathic and discuss its theoretical aspects. We empirically examine and validate our theoretical findings on a fruit collection task.

연구 동기 및 목표

• 위험하거나 노이즈가 많은 환경에서 기존 局부 계획법의 한계, 특히 과도한 추정과 비효율성 문제를 해결한다.
• 국제 최적 벨먼 방정식과 일치하는 국소 지도자 결정을 보장하는 새로운 계획 전략인 공감적 계획법을 개발한다.
• 다양한 노이즈 수준과 할인 인자 γ를 갖는 과일 수확(Pac-Boy) 환경에서 이론적 주장의 실증적 검증을 수행한다.
• 공감적 계획법이 이기적 및 무관한 접근 방식보다 더 빠르고 안정적이며 신뢰할 수 있는 학습을 가능하게 함을 보여준다.
• 특히 지도자들이 전체 상태공간에 액세스할 경우 공감적 계획법이 전역 최적해로 수렴하는 조건을 규명한다.

제안 방법

• 단일 에이gent 강화학습 문제를 n개의 독립된 지도자로 분해하며, 각 지도자는 서로 다른 초점(예: 보상 함수, 상태공간, 학습 기법)에 따라 훈련된다.
• 국소 Q-값을 집계자(aggregator)를 통해 통합하여 글로벌 정책을 생성함으로써 분산된 의사결정을 가능하게 한다.
• 세 가지 국소 계획 전략을 구현한다: 이기적(자신의 미래 수익을 최대화), 무관(모든 미래 행동의 평균), 공감적(집계자가 다음에 행동할 것처럼 계획함).
• 글로벌 벨먼 방정식을 정식화하고, 이기적 계획법이 ∑max를 max∑로 뒤집어 과도한 추정과 안착 상태를 유도함을 보여준다.
• 전체 상태공간 액세스 조건 하에서 공감적 계획법의 국소 Q-값이 글로벌 최적 벨먼 방정식과 일치하도록 유도한다.
• 경험 재생 및 타겟 네트워크를 사용한 DQN으로 지도자를 훈련하고, 노이즈와 다양한 γ 값을 갖는 맞춤형 Pac-Boy 환경에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 기존의 국소 계획법인 이기적 및 무관한 방법은 위험하거나 노이즈가 많은 환경에서 과도한 추정과 비효율성으로 인해 어떻게 실패하는가?
• RQ2 실용적인 수렴 보장을 유지하면서도 글로벌 최적 벨먼 방정식과 일치하는 새로운 계획 전략을 설계할 수 있는가?
• RQ3 공감적 계획법은 복잡한 작업에서 안정성, 노이즈에 대한 강건성, 최종 성능 면에서 이기적 및 무관한 방법을 능가하는가?
• RQ4 특히 지도자들이 부분적 또는 전체 상태 정보를 갖는 조건에서 공감적 계획법이 전역 최적해로 수렴하는 조건은 무엇인가?
• RQ5 할인 인자 γ의 선택이 이기적 계획법의 성능와 안정성에 미치는 영향은 어느 정도이며, 이는 다른 계획 전략에 의해 완화될 수 있는가?

주요 결과

• 이기적 계획법은 특히 고 γ 값에서 과도한 추정으로 인해 무작위 행동(no-op)이 선호되는 안착 상태에 빠지게 된다.
• γ = 0.9일 경우 이기적 계획법은 성능이 열악하고 안착 상태에 갇히며, γ = 0.4일 경우 높은 점수를 기록하지만 노이즈에 취약하여 불안정하다.
• 무관한 계획법은 깃털이 멀리 떨어져 있어도 모든 미래 행동 시퀀스에 동일한 가중치를 부여함으로써, 깃털 근처의 과일을 효율적으로 수확하지 못한다.
• 공감적 계획법은 Pac-Boy 작업에서 근사 최적 성능을 달성하며, 청소 및 노이즈 환경 모두에서 이기적(γ=0.4) 및 무관한 방법을 능가한다.
• 노이즈 있는 보상(σ = 0.1) 조건에서도 공감적 계획법은 강건하게 유지되며, 낮은 γ와 노이즈 민감도로 인해 시야가 짧아지는 이기적 계획법보다 끊임없이 뛰어난 성능을 보인다.
• Pac-Boy 환경에서 공감적 계획법은 단 10개의 훈련 에포크 후에 신뢰성 있게 수렴하여 빠르고 안정적인 학습을 보이며, 부분 상태 설정에서는 수렴 보장이 없는 것으로 나타났다.