[논문 리뷰] Policy Improvement via Imitation of Multiple Oracles

Ching-An Cheng, Andrey Kolobov외 1명|arXiv (Cornell University)|2020. 07. 01.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 여러 열악한 오라클 정책에서 학습함으로써 정책을 향상시키는 새로운 이민러닝 알고리즘 MAMBA를 제안한다. 상태별로 오라클 가치의 최댓값을 강력한 기준으로 삼고, 일반화된 이점 추정(GAE)에 기반한 그래디언트 추정기를 사용함으로써, 오라클 정책이 열악하거나 상충될 경우 기존의 IL 방법을 뛰어넘는 성능을 보이며, 특히 최고의 단일 오라클을 초월한다.

ABSTRACT

Despite its promise, reinforcement learning's real-world adoption has been hampered by the need for costly exploration to learn a good policy. Imitation learning (IL) mitigates this shortcoming by using an oracle policy during training as a bootstrap to accelerate the learning process. However, in many practical situations, the learner has access to multiple suboptimal oracles, which may provide conflicting advice in a state. The existing IL literature provides a limited treatment of such scenarios. Whereas in the single-oracle case, the return of the oracle's policy provides an obvious benchmark for the learner to compete against, neither such a benchmark nor principled ways of outperforming it are known for the multi-oracle setting. In this paper, we propose the state-wise maximum of the oracle policies' values as a natural baseline to resolve conflicting advice from multiple oracles. Using a reduction of policy optimization to online learning, we introduce a novel IL algorithm MAMBA, which can provably learn a policy competitive with this benchmark. In particular, MAMBA optimizes policies by using a gradient estimator in the style of generalized advantage estimation (GAE). Our theoretical analysis shows that this design makes MAMBA robust and enables it to outperform the oracle policies by a larger margin than the IL state of the art, even in the single-oracle case. In an evaluation against standard policy gradient with GAE and AggreVaTe(D), we showcase MAMBA's ability to leverage demonstrations both from a single and from multiple weak oracles, and significantly speed up policy optimization.

연구 동기 및 목표

• 여러 열악한 오라클 정책이 존재할 경우 정책 성능 평가를 위한 원칙적인 기준이 부족한 문제를 해결한다.
• 서로 충돌하는 여러 오라클을 체계적으로 융합해 더 강력하고 통합된 기준 정책을 만든다.
• 다중 오라클 시연을 활용해 개별 오라클을 모두 초월하는 정책 향상을 보장할 수 있는 이민러닝 알고리즘을 설계한다.
• 특히 오라클 정책의 품질이 열악하거나 다양할 경우, 오라클의 품질과 순서에 대해 강건성을 확보한다.
• 다중 오라클 이민러닝이 단일 오라클 또는 표준 RL 기준보다 정책 최적화를 크게 가속화할 수 있음을 입증한다.

제안 방법

• 여러 오라클 정책의 가치값을 상태별 최댓값으로 취해, 자연스럽고 항상 우월한 기준으로 삼는다. 이를 '최대 집계 기준'으로 명명한다.
• 이론적 보장을 확보하고 효율적인 훈련을 가능하게 하기 위해 정책 최적화를 온라인 학습으로 환원한다.
• 표본 효율성과 정책 성능 향상을 위해 일반화된 이점 추정(GAE)에 영감을 받은 그래디언트 추정기를 사용한다.
• 다단계 시간적 책임 할당을 위한 하이퍼파라미터 λ를 도입하여 함수 근사 오차에 대한 강건성을 향상시킨다.
• 각 오라클 정책에 대한 가치 함수 근사기구를 훈련하고, 이를 최댓값 집계를 통해 융합해 더 강력한 기준을 형성한다.
• 정책의 가치와 최대 집계 기준 간의 차이를 학습 신호로 사용해 정책에 대해 온라인 학습 업데이트를 적용한다.

실험 결과

연구 질문

• RQ1 여러 열악한 오라클 정책이 존재할 경우, 정책 성능 평가를 위한 원칙적이고 보편적으로 우월한 기준은 무엇인가?
• RQ2 다양한 오라클의 시연를 융합함으로써 개별 오라클을 모두 초월하는 정책을 체계적으로 향상시킬 수 있는가?
• RQ3 다중 오라클 이민러닝은 강화학습에서 표본 효율성과 수렴 속도에 어떤 영향을 미치는가?
• RQ4 λ(시간적 책임 할당 가중치)의 선택이 강건성과 성능 향상에 어떤 역할을 하는가?
• RQ5 오라클 품질이 열악하거나 오라클 순서가 무작위일 경우 알고리즘이 어떻게 작동하며, 이러한 환경에서 단일 오라클 기준을 초월할 수 있는가?

주요 결과

• MAMBA는 모든 환경에서 AggreVaTe(D)와 PG-GAE를 일관되게 뛰어넘으며, 특히 오라클 정책이 열악하거나 열악할 경우 두드러진 성능 향상을 보인다.
• λ > 0일 경우, 후행적으로 최고의 오라클을 사용하는 AggreVaTe(D)보다도 MAMBA가 더 뛰어난 성능을 달성한다.
• 여러 오라클을 사용할 경우 성능 향상이著격하게 향상되며, 특히 λ가 클 경우 더 나은 기준 가치 추정 덕분이다.
• 무작위 오라클 순서 조건에서도 알고리즘이 강건성을 유지하며, 다수의 오라클을 사용하는 MAMBA는 AggreVaTe(D)와 PG-GAE를 모두 능가한다.
• DoubleInvertedPendulum과 같은 고차원 환경에서는 λ 가중치가 함수 근사 오차 의존도를 줄이고 학습 안정성을 향상시킨다.
• 너무 많은 열악한 오라클을 포함할 경우, 각 오라클의 표본 복잡도 증가로 인해 성능이 저하되지만, 오라클가 합리적으로 선택될 경우 다양성의 이점이 이를 상쇄한다.