[논문 리뷰] Robust Imitation Learning from Noisy Demonstrations

Voot Tangkaratt, Nontawat Charoenphakdee외 1명|arXiv (Cornell University)|2020. 10. 20.

Machine Learning and Data Classification참고 문헌 37인용 수 6

한 줄 요약

이 논문은 전문가가 레이블링한 데이터나 엄격한 노이즈 분포 가정 없이 노이즈가 섞인 시연 데이터로부터 최신 기술 수준의 성능을 달성하는 강건한 암시 학습 방법인 RIL-Co를 제안한다. 대칭 손실 최소화에 이론적 기반을 두고 비전문가 데이터 밀도를 추정하기 위해 공-퍼스도라벨링을 활용함으로써, RIL-Co는 연속 제어 벤치마크에서 기존 방법들을 능가하며, 특히 높은 노이즈 비율에서 뛰어난 성능을 보인다.

ABSTRACT

Robust learning from noisy demonstrations is a practical but highly challenging problem in imitation learning. In this paper, we first theoretically show that robust imitation learning can be achieved by optimizing a classification risk with a symmetric loss. Based on this theoretical finding, we then propose a new imitation learning method that optimizes the classification risk by effectively combining pseudo-labeling with co-training. Unlike existing methods, our method does not require additional labels or strict assumptions about noise distributions. Experimental results on continuous-control benchmarks show that our method is more robust compared to state-of-the-art methods.

연구 동기 및 목표

• 실세계 환경에서 저품질의 노이즈가 섞인 인간 시범 데이터로부터의 암시 학습에 도전하는 것.
• 기존 강건한 IL 방법에서 전문가가 레이블링한 데이터나 노이즈 분포에 대한 강력한 가정에 의존하지 않는 것.
• 이론적으로 기반을 두고 데이터 효율성이 높으며, 높은 노이즈 비율에서도 성능을 유지하는 방법을 개발하는 것.
• 대칭 손실 최적화와 공-퍼스도라벨링을 통합하여 암시 학습의 강건성과 일반화 능력을 향상시키는 것.

제안 방법

• 이 방법은 강건한 암시 학습이 대칭 손실 함수를 사용한 분류 위험 최소화를 통해 달성될 수 있다는 이론적 증명에 기반한다.
• 공-퍼스도라벨링을 도입하여 페르소드 레이블링과 공-트레이닝을 결합함으로써, 과적합을 방지하면서도 비전문가 시범 데이터의 밀도를 추정한다.
• 노이즈 분포를 명시적으로 모델링하지 않고도, 레이블 노이즈에 대해 불변인 대칭 손실을 사용함으로써 노이즈에 대한 강건성을 확보한다.
• 한 네트워크는 행동을 예측하고 다른 네트워크는 공-트레이닝을 통해 비전문가 데이터의 신뢰도를 추정하는 이중 네트워크 아키텍처를 사용한다.
• 초기화 조정은 이론적으로 유도되어 있어 광범위한 튜닝이 필요하지 않다.
• 노이즈가 섞인 시범 데이터에서의 강건성을 향상시키기 위해, 절대 페널티 손실(예: 절대 페널티 손실)과 같은 대칭 손실을 사용하여 분류 위험을 최적화한다.

실험 결과

연구 질문

• RQ1 추가 전문가 레이블이나 노이즈 분포에 대한 강력한 가정 없이도 강건한 암시 학습을 달성할 수 있는가?
• RQ2 레이블이 없는 환경에서 비전문가 시범 데이터의 밀도를 효과적으로 추정할 수 있는가?
• RQ3 노이즈가 섞인 시범 데이터에서 대칭 손실 함수를 사용할 경우 암시 학습에 어떤 영향을 미치는가?
• RQ4 공-퍼스도라벨링은 단순한 페르소드 레이블링에 비해 강건성과 일반화 능력에서 어떻게 다른가?
• RQ5 제안된 방법은 초기화 조정 없이 다양한 노이즈 비율에서도 성능을 유지할 수 있는가?

주요 결과

• RIL-Co는 VILD 및 행동 복제와 같은 최신 기술 수준의 방법들을 여러 연속 제어 벤치마크에서 능가하며, 특히 높은 노이즈 비율(예: δ=0.4)에서 뛰어난 성능을 보인다.
• 노이즈 비율 δ=0.4일 때, RIL-Co는 경쟁 방법들보다 훨씬 적은 전이 샘플을 사용하면서도 뛰어난 최종 성능를 달성하여 데이터 효율성을 입증한다.
• 절단 실험 결과에서 대칭 절대 페널티(AP) 손실과 공-퍼스도라벨링을 조합한 것이 최고의 성능를 보이며, 이 두 구성 요소의 중요성을 입증한다.
• VILD의 가정이 성립하는 가우시안 노이즈 데이터셋에서, RIL-Co는 2000만 개의 샘플을 사용하여 VILD와 비교적 유사한 성능를 달성했으며, 더 가벼운 데이터 가정에 기반한다.
• 비전문가 시범 데이터가 추가 노이즈 없이 정책 스크립트에서 생성된 경우에도 RIL-Co는 강력한 성능를 유지하지만, VILD는 가우시안 가정 위반으로 실패한다.
• 궤적의 시각화 결과에서 RIL-Co 정책가 전문가 시범과 유사하게 나타나, 성공적인 정책 복제를 확인한다.