[논문 리뷰] AC-Teach: A Bayesian Actor-Critic Method for Policy Learning with an Ensemble of Suboptimal Teachers

Andrey Kurenkov, Ajay Mandlekar외 3명|arXiv (Cornell University)|2019. 09. 09.

Reinforcement Learning in Robotics참고 문헌 38인용 수 17

한 줄 요약

AC-Teach는 부분적, 비최적 또는 모순되는 교사들로 구성된 앙상블을 활용하여 딥 강화학습에서 샘플 효율성을 향상시키는 베이지안 액터-크리틱 프레임워크를 제안한다. 확률적 가치 추정과 교사가 제안한 행동에 대한 톰슨 샘플링을 통해 안정적이고 적응형 탐색을 가능하게 하여, 로봇 조작 작업 전반에서 수렴 속도와 점근적 성능 모두에서 베이스라인을 능가한다. 이는 낮은 품질 또는 불완전한 교사 세트가 존재하는 상황에서도 성립한다.

ABSTRACT

The exploration mechanism used by a Deep Reinforcement Learning (RL) agent plays a key role in determining its sample efficiency. Thus, improving over random exploration is crucial to solve long-horizon tasks with sparse rewards. We propose to leverage an ensemble of partial solutions as teachers that guide the agent's exploration with action suggestions throughout training. While the setup of learning with teachers has been previously studied, our proposed approach - Actor-Critic with Teacher Ensembles (AC-Teach) - is the first to work with an ensemble of suboptimal teachers that may solve only part of the problem or contradict other each other, forming a unified algorithmic solution that is compatible with a broad range of teacher ensembles. AC-Teach leverages a probabilistic representation of the expected outcome of the teachers' and student's actions to direct exploration, reduce dithering, and adapt to the dynamically changing quality of the learner. We evaluate a variant of AC-Teach that guides the learning of a Bayesian DDPG agent on three tasks - path following, robotic pick and place, and robotic cube sweeping using a hook - and show that it improves largely on sampling efficiency over a set of baselines, both for our target scenario of unconstrained suboptimal teachers and for easier setups with optimal or single teachers. Additional results and videos at https://sites.google.com/view/acteach/home.

연구 동기 및 목표

• 희소 보상이 존재하는 장기적인 로봇 조작 작업을 위한 딥 강화학습에서 샘플 효율성을 향상시키는 것.
• 최적 또는 완전한 전문가 시범이 아닌, 비최적, 부분적 또는 모순되는 교사들로부터도 효과적인 정책 학습을 가능하게 하는 것.
• 개별 교사에 대한 명시적 조건부 처리 없이 이질적인 교사 조언을 행동 정책에 통합하는 통합적이고 확장 가능한 프레임워크를 개발하는 것.
• 에이전트와 교사 행동이 혼합된 오프-폴리시 경험을 통해 학습할 때도 안정성과 성능을 유지하는 것.
• 교사 세트가 부족하거나 노이즈가 많더라도 어떤 교사가 다루지 않은 행동을 학습할 수 있도록 하는 것.

제안 방법

• AC-Teach는 베이지안 크리틱이 예측한 행동 가치에 대한 확률적 사후분포에서 톰슨 샘플링을 통해 행동을 선택하는 행동 정책를 액터-크리틱 아키텍처에 확장한다.
• 베이지안 크리틱은 Q-값에 대한 사후분포를 유지하여 에이전트 행동과 교사가 제안한 행동 사이의 불확실성 인식 선택을 가능하게 한다.
• 교사 조언은 개별 교사에 대한 명시적 조건부 처리 없이 대체 행동 제안으로 통합되어, 대규모 또는 동적 교사 세트에 대한 확장성을 보장한다.
• 기여 메커니즘은 에이전트가 장기간에 걸쳐 단일 교사 정책을 따르도록 하여, 진동을 줄이고 정책 안정성을 향상시킨다.
• 이 방법은 오프-폴리시 경험 리플레이를 사용하여 에이전트와 여러 교사가 생성한 이질적인 데이터로부터 학습할 수 있다.
• 이 프레임워크는 어떤 오프-폴리시 강화학습 알고리즘과도 호환되며, 여기서는 베이지안 DDPG(BDDPG)를 통해 구현되었다.

실험 결과

연구 질문

• RQ1 비최적, 부분적 또는 모순되는 교사 앙상블을 사용할 때 AC-Teach가 샘플 효율성을 크게 향상시킬 수 있는가?
• RQ2 교사 세트가 부족하여 에이전트가 작업의 일부를 처음부터 학습해야 할 경우 AC-Teach는 어떻게 성능을 발휘하는가?
• RQ3 노이즈가 많거나 품질이 낮은 교사, 심지어 무작위 행동 제공자까지 포함된 상황에서 AC-Teach는 얼마나 강건한가?
• RQ4 다양한 교사 구성 조건에서 AC-Teach가 수렴 속도와 최종 성능 모두에서 베이스라인을 능가하는가?
• RQ5 각 구성 요소(불확실성 추정, 기여 메커니즘, 앙상블 통합)가 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• AC-Teach는 팔고 놓기, 경로 따라가기, 후크 스위핑 작업에서 모든 베이스라인보다 샘플 효율성과 점근적 성능에서 뚜렷하게 뛰어나다.
• 단일 노이즈가 있는 교사가 존재하는 상황에서도 AC-Teach는 효과적으로 학습하여 노이즈가 있는 전체 교사의 성능에 도달하며, 모든 베이스라인은 학습에 실패한다.
• 여러 개의 부분적 교사(예: 별도의 팔고 놓기 제어기)를 사용할 경우, AC-Teach는 노이즈가 있는 수동으로 구성된 near-optimal 교사보다도 성능이 뛰어나다.
• 무작위 교사를 추가해도 성능 저하가 서서히 진행되며, AC-Teach는 항상 모든 베이스라인을 능가한다.
• 제거 실험 결과, 베이지안 크리틱, 톰슨 샘플링, 기여 메커니즘, 앙상블 통합의 네 가지 구성 요소가 강력한 성능을 내기 위해 필수적임을 확인하였다.
• 비최적 또는 부분적인 교사들을 추가할수록 최적 또는 단일 교사보다 성능 향상이 이루어지며, 이는 교사 조언의 다양성이 외삽 오차를 완화시킨다는 것을 시사한다.