[논문 리뷰] BAIL: Best-Action Imitation Learning for Batch Deep Reinforcement Learning

Xinyue Chen, Zijian Zhou외 4명|arXiv (Cornell University)|2019. 10. 27.

Reinforcement Learning in Robotics참고 문헌 45인용 수 31

한 줄 요약

BAIL는 데이터셋 수익의 '상한 봉우리'를 식별하는 가치 함수를 사용하여 고성능 행동을 선택하고, 암시 학습을 통해 정책을 훈련하는 단순하면서도 높은 성능을 내는 배치 딥 강화학습 알고리즘을 제안한다. MuJoCo 벤치마크에서 최신 기술 성능을 달성하며, BCQ보다 42% 높은 수익을 기록하고 BC보다 101% 높으며, BCQ와 BEAR와 같은 Q-학습 기반 기준보다 30–50배 빠른 훈련 속도를 보인다.

ABSTRACT

There has recently been a surge in research in batch Deep Reinforcement Learning (DRL), which aims for learning a high-performing policy from a given dataset without additional interactions with the environment. We propose a new algorithm, Best-Action Imitation Learning (BAIL), which strives for both simplicity and performance. BAIL learns a V function, uses the V function to select actions it believes to be high-performing, and then uses those actions to train a policy network using imitation learning. For the MuJoCo benchmark, we provide a comprehensive experimental study of BAIL, comparing its performance to four other batch Q-learning and imitation-learning schemes for a large variety of batch datasets. Our experiments show that BAIL's performance is much higher than the other schemes, and is also computationally much faster than the batch Q-learning schemes.

연구 동기 및 목표

• 표준 Q-학습 알고리즘을 사용할 경우 외삽 오류로 인해 발생하는 높은 성능 저하와 불안정성 문제를 해결하기 위해.
• BCQ와 BEAR와 같은 복잡한 Q-함수 기반 배치 RL 방법의 복잡한 구조를 피하고 단순하고 빠르며 효과적인 대안을 개발하기 위해.
• 가치 함수를 통해 식별된 고성능 행동에 기반한 암시 학습을 활용하여 배치 RL의 샘플 효율성과 성능을 향상시키기 위해.
• 개념적으로 단순한 IL 기반 방법이 다양한 비전문가 데이터셋에서 최신 기술 Q-학습 기반 배치 RL 알고리즘을 능가할 수 있음을 입증하기 위해.
• 온라인 상호작용이 불가능한 안전 중심 시스템에 대해 계산적으로 효율적이고 강력한 대안을 제공하기 위해.

제안 방법

• BAIL은 먼저 데이터셋 내 상태에 대해 가장 높은 수익을 달성할 수 있는 상한 봉우리(upper envelope)를 추정하기 위해 V-함수 신경망을 훈련시킨다.
• 그 후 몬테카를로 수익이 이 상한 봉우리에 가까운 상태-행동 쌍을 식별하여 고성능 행동으로 선정한다.
• 선정된 고성능 행동은 추가 제약 조건이나 복잡한 아키텍처 없이 표준 행동 클로닝(암시 학습)을 통해 정책 신경망을 훈련하는 데 사용된다.
• V-함수는 각 상태에 대해 데이터셋에서 관측된 최대 수익을 예측하도록 회귀 목표 함수를 사용해 훈련된다.
• BCQ나 BEAR에서처럼 행동 공간 제약 조건이 필요 없도록, 데이터셋 내에서 실제로 고성능임이 입증된 행동만 사용함으로써 외삽 오류를 방지한다.
• 전체 파ip라인은 반복적인 Q-학습 업데이트와 복잡한 제약 메커니즘의 부재로 인해 계산적으로 매우 효율적이며, BCQ 및 BEAR보다 훈련 시간이 30–50배 빠르다.

실험 결과

연구 질문

• RQ1 비전공자 데이터셋을 포함한 다양한 배치 데이터셋에서 복잡한 Q-함수 기반 배치 RL 알고리즘인 BCQ와 BEAR보다 단순한 암시 학습 접근 방식이 성능을 뛰어넘을 수 있는가?
• RQ2 MuJoCo 환경에서 다양한 비전문가 배치 데이터셋에 대해 BAIL의 성능은 BCQ, BEAR, MARWIL, BC와 비교해 어떻게 되는가?
• RQ3 '데이터의 상한 봉우리'를 고성능 행동 선정 기준으로 사용할 경우, 수익 순위 기반 또는 표준 회귀 기반 선택보다 정책 성능이 향상되는가?
• RQ4 특히 훈련 시간과 자원 사용 측면에서 BAIL의 계산 효율성은 Q-학습 기반 배치 RL 방법과 비교해 어떻게 되는가?
• RQ5 BAIL은 비전문가 정책에서 유래한 다양한 종류의 배치 데이터에 대해 얼마나 일반화되는가?

주요 결과

• BAIL은 22개의 MuJoCo 훈련 배치 평균에서 BCQ보다 42% 높은 성능을 기록했으며, BC보다는 평균 101% 높은 성능을 보였다.
• 22개 훈련 배치 중 20개에서 BAIL이 승리하여 다양한 데이터셋에서 뛰어난 일관성 있는 성능을 입증했다.
• BCQ 및 BEAR보다 훈련 시간이 30–50배 빠르며, 시드당 1–2시간이면 훈련이 가능하고, Q-학습 기반 기준은 12–100시간이 소요된다.
• 실행 배치(고정 정책 데이터)의 경우 바닐라 BC가 가장 우수한 성능을 보였지만, BAIL과 BCQ도 거의 유사한 성능이며 가끔 BC를 초월해 BAIL의 강인함을 입증했다.
• 상한 봉우리 접근 방식은 단순한 방법(예: 상위 G개 행동 선택 또는 표준 V-함수 회귀)보다 뚜렷이 뛰어난 성능을 보이며, 고품질 데이터 포인트를 효과적으로 식별할 수 있음을 확인했다.
• BAIL은 다양한 하이퍼파rameter 설정에서도 안정된 성능을 보이며, BCQ나 BEAR와 달리 정밀 조정이 필요하지 않다.