[논문 리뷰] Goal-Conditioned Imitation Learning

Yiming Ding|arXiv (Cornell University)|2019. 06. 13.

Reinforcement Learning in Robotics참고 문헌 38인용 수 32

한 줄 요약

이 논문은 목표GAIL을 소개합니다. 이는 힌트 relabeling을 활용한 목표 조건부 Generative Adversarial Imitation Learning으로 로봇공학에서 목표 학습 속도를 높이고, 상태 전용 및 편향된 시演에도 대응하며 데이터 보강을 위한 전문가 재라벨링을 지원합니다.

ABSTRACT

Designing rewards for Reinforcement Learning (RL) is challenging because it needs to convey the desired task, be efficient to optimize, and be easy to compute. The latter is particularly problematic when applying RL to robotics, where detecting whether the desired configuration is reached might require considerable supervision and instrumentation. Furthermore, we are often interested in being able to reach a wide range of configurations, hence setting up a different reward every time might be unpractical. Methods like Hindsight Experience Replay (HER) have recently shown promise to learn policies able to reach many goals, without the need of a reward. Unfortunately, without tricks like resetting to points along the trajectory, HER might require many samples to discover how to reach certain areas of the state-space. In this work we investigate different approaches to incorporate demonstrations to drastically speed up the convergence to a policy able to reach any goal, also surpassing the performance of an agent trained with other Imitation Learning algorithms. Furthermore, we show our method can also be used when the available expert trajectories do not contain the actions, which can leverage kinesthetic or third person demonstration. The code is available at https://sites.google.com/view/goalconditioned-il/.

연구 동기 및 목표

• 실세계 강화학습에서 보상 설계의 어려움과 보상 없이 목표 도달 정책의 필요성에 대한 동기 부여.
• 관측된 모든 목표에 효율적으로 도달할 수 있는 목표 조건부 모방 학습 프레임워크 개발.
• 데모를 활용해 수렴 속도와 시演자의 범위를 넘어서는 일반화를 촉진.
• 오프 폴리시 학습 및 힌트 relabeling과 호환되는 GAIL 기반 알고리즘인 goalGAIL 도입.
• 상태 전용, 운동학적(kineesthetic), 부분 최적 전문가 시演을 처리하는 기능 확장.

제안 방법

• 판별기를 (a, s, g)에 대해 조건화하여 에이전트가 목표를 향한 전이를 만들어 내도록 보상합니다.
• GAIL 목적을 사용해 정책을 오프 폴리시 알고리즘(DDPG)으로 학습하되 보상으로 r = indicator(s'==g)와 점진적으로 증가하는 log Dψ(a,s,g) 항을 결합합니다.
• 전문가 재라벨링 도입: 미래 목표 s(t+k)로 전문가 전이를 재라벨링하여 소수의 시演에서도 감독 신호를 증가시킵니다.
• goalGAIL을 제안하고 GAIL과 HER를 결합하여 목표 조건부 작업 학습을 가능하게 합니다.
• 행위를 대체해 디스criminator에 다음 상태를 넣어 상태 전용 시演에서도 학습이 가능하도록 하여 운동학적 혹은 3인칭 시演으로부터 학습합니다.
• 데모가 희박할 때 데이터를 보강하기 위한 전문가 궤적의 새로운 재라벨링 방식 제공.

실험 결과

연구 질문

• RQ1 goalGAIL이 목표 조건부 학습을 가속화하고 명시적 보상 감독 없이 시演자보다 우수한 성능을 낼 수 있는가?
• RQ2 전문가 재라벨링이 데이터 효율성과 목표 조건부 작업의 최종 성능을 향상시키는가?
• RQ3 goalGAIL이 부분 최적 전문가에 대해 얼마나 강건하며 상태 전용 시演을 사용할 수 있는가?
• RQ4 상태 전용 시演 성능이 전체 상태-활동 시演과 비교해 목표 조건부 정책 학습에 어떤 영향을 주는가?

주요 결과

• goalGAIL은 일관되게 HER보다 더 빠르게 수렴하고 네 가지 연속 MuJoCo 과제에서 무작위 목표 조건부 GAIL보다 더 나은 최종 성능을 달성합니다.
• 전문가 재라벨링은 BC, BC+HER, goalGAIL 전반에서 환경에 따라 최종 성능을 크게 향상시킵니다.
• GAIL 기반 방법은 부분 최적 전문가에 대해 강건함을 보이며 소음이 있는 시演 설정에서 순수 BC보다 우수합니다.
• 대다수의 과제에서 상태 전용 시演은 BC+HER 및 심지어 완전한 액션 GAIL보다 우수한 성능을 보이며 가용 감독의 유연성을 보여줍니다.
• goalGAIL은 시演을 통해 보상을 얻으면서도 힌지 relabeling 및 오프 폴리시 학습으로 Baseline보다 더 나은 성능을 보입니다.