[논문 리뷰] Ranking-Based Reward Extrapolation without Rankings.

Daniel S. Brown, Wonjoon Goo외 1명|arXiv (Cornell University)|2019. 07. 09.

Reinforcement Learning in Robotics참고 문헌 33인용 수 4

한 줄 요약

이 논문은 인간이 제공한 순위 또는 보상 없이, 행동 복제 정책에 노이즈를 주입하여 합성 순위를 생성함으로써, 시연자 성능을 초월하는 랭킹 기반의 암시 학습 방법인 D-REX를 제안한다. 이는 MuJoCo 및 Atari 벤치마크에서 최신 기술 성능을 달성하며, 시연자의 능력을 자동으로 초월한다.

ABSTRACT

The performance of imitation learning is typically upper-bounded by the performance of the demonstrator. Recent empirical results show that imitation learning via ranked demonstrations allows for better-than-demonstrator performance; however, ranked demonstrations may be difficult to obtain, and little is known theoretically about when such methods can be expected to outperform the demonstrator. To address these issues, we first contribute a sufficient condition for when better-than-demonstrator performance is possible and discuss why ranked demonstrations can contribute to better-than-demonstrator performance. Building on this theory, we then introduce Disturbance-based Reward Extrapolation (D-REX), a ranking-based imitation learning method that injects noise into a policy learned through behavioral cloning to automatically generate ranked demonstrations. By generating rankings automatically, ranking-based imitation learning can be applied in traditional imitation learning settings where only unlabeled demonstrations are available. We empirically validate our approach on standard MuJoCo and Atari benchmarks and show that D-REX can utilize automatic rankings to significantly surpass the performance of the demonstrator and outperform standard imitation learning approaches. D-REX is the first imitation learning approach to achieve significant extrapolation beyond the demonstrator's performance without additional side-information or supervision, such as rewards or human preferences.

연구 동기 및 목표

• 암시 학습이 시연자 성능을 초월할 수 있는 이론적 조건을 규명하는 것.
• 실제 암시 학습 환경에서 순위가 제공된 시연을 확보하는 실용적 과제를 해결하는 것.
• 추가 보조 정보 없이 레이블이 없는 시연만을 사용하여 시연자 성능을 초월하는 방법을 개발하는 것.
• 자동으로 생성된 순위가 표준 암시 학습 환경에서 보상 외삽을 효과적으로 지원할 수 있는지 검증하는 것.

제안 방법

• D-REX는 레이블이 없는 시연를 기반으로 행동 복제 정책을 훈련시켜 기반 정책으로 사용한다.
• 통제된 노이즈를 사용해 행동 복제 정책을 변형함으로써 다양한 궤적을 생성하고, 이를 비교를 위한 합성 순위를 생성한다.
• 이 방법은 노이즈 유도 궤적을 활용해 상대적 선호 신호를 형성하여, 인간의 입력 없이도 합성 순위를 효과적으로 생성한다.
• 합성 순위를 활용해 랭킹 기반의 암시 학습 목표를 적용하여 정교화된 정책을 훈련시킨다.
• 최종 정책는 합성 순위에서 유도된 외삽된 보상 신호를 최대화하도록 훈련된다.
• 이 접근법은 인간이 제공한 보상이나 선호도 애너테이션 없이도 완전히 자기지도 학습 방식으로 작동한다.

실험 결과

연구 질문

• RQ1 언제 어떤 이론적 조건에서 암시 학습이 시연자 성능을 초월할 수 있는가?
• RQ2 단일 정책의 변형에서 생성된 합성 순위가 시연자 성능을 초월하는 데 기여할 수 있는가?
• RQ3 사람이 제공한 것이 아니라 자동으로 생성된 순위를 사용할 경우, 랭킹 기반 암시 학습의 효과는 어떠한가?
• RQ4 보상 함수나 선호도 신호에 접근할 수 없는 상황에서 D-REX는 표준 암시 학습 베이스라인을 초월할 수 있는가?

주요 결과

• D-REX는 레이블이 없는 시연만을 사용하여 표준 MuJoCo 및 Atari 벤치마크에서 시연자 성능을 크게 초월한다.
• 정책의 변형이 다양하고 정보적인 궤적 비교를 가능하게 할 경우, 시연자 성능을 초월하는 것이 가능하다는 것을 입증한다.
• 보상 함수나 인간의 선호도에 접근할 수 없음에도 불구하고, 표준 행동 복제 및 기타 암시 학습 베이스라인을 모두 능가한다.
• 노이즈 주입을 통해 생성된 합성 순위는 효과적인 보상 외삽과 정책 향상에 충분하다.
• 이 방법은 추가 보조 정보나 보상 신호 없이도 상당한 성능 외삽을 달성한 최초의 접근법이다.