[논문 리뷰] An Empirical Investigation of Representation Learning for Imitation

Xin Chen, Sam Toyer외 10명|arXiv (Cornell University)|2022. 05. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 12인용 수 7

한 줄 요약

이 논문은 시각 기반 환경에서 타깃 학습(RepL)이 타깃 학습(IL) 성능을 향상시키는지 여부를 다각도의 RepL 방법을 평가하기 위한 모듈러 프레임워크를 사용해 조사한다. 다양한 벤치마크에서 광범위한 테스트를 수행한 결과, RepL는 잘 튜닝된 이미지 증강 기반 베이스라인에 비해 제한적인 성능 향상을 보이며, 강력한 데이터 증강이 적용된 상황에서는 기존 RepL 기법이 IL에 큰 이점을 제공하지 못함을 시사한다.

ABSTRACT

Imitation learning often needs a large demonstration set in order to handle the full range of situations that an agent might find itself in during deployment. However, collecting expert demonstrations can be expensive. Recent work in vision, reinforcement learning, and NLP has shown that auxiliary representation learning objectives can reduce the need for large amounts of expensive, task-specific data. Our Empirical Investigation of Representation Learning for Imitation (EIRLI) investigates whether similar benefits apply to imitation learning. We propose a modular framework for constructing representation learning algorithms, then use our framework to evaluate the utility of representation learning for imitation across several environment suites. In the settings we evaluate, we find that existing algorithms for image-based representation learning provide limited value relative to a well-tuned baseline with image augmentations. To explain this result, we investigate differences between imitation learning and other settings where representation learning has provided significant benefit, such as image classification. Finally, we release a well-documented codebase which both replicates our findings and provides a modular framework for creating new representation learning algorithms out of reusable components.

연구 동기 및 목표

• 시각 기반 환경에서 표현 학습(RepL)이 타깃 학습(IL) 성능을 향상시키는지 체계적으로 평가하는 것.
• 타깃 학습에서 성능에 영향을 미치는 RepL 알고리즘의 설계 축을 특정하는 것.
• RepL를 활용한 재현 가능한 실험을 위한 모듈러하고 확장 가능한 코드베이스를 구축하는 것.
• RepL가 시각 및 강화 학습 분야에선 성공했지만 타깃 학습에선 제한적인 영향을 미치는 이유를 탐구하는 것.
• 학습된 표현과 정책을 분석하여未래 연구를 위한 가설을 도출하는 것.

제안 방법

• 저자들은 증강, 모멘터니티, 프로젝션 헤드, 사전학습 대비 동시학습 등의 핵심 RepL 설계 선택 사항을 독립된 구성 요소로 분리하는 모듈러 프레임워크를 설계한다.
• 딥마인드 컨트롤 스위트(DMC), 프로세건, MAGICAL 세 가지 벤치마크에서 행동 복제(BC)와 GAIL을 하류 IL 알고리즘으로 사용해 총 12종의 RepL 방법을 평가한다.
• 재사용 가능한 구성 요소를 제공하는 문서화된 오픈소스 코드베이스를 공개하여 실험의 재현과 확장 가능성을 보장한다.
• 저자들은 시각화 지도와 클러스터링을 사용해 학습된 표현과 정책을 분석하고, 다양한 작업과 방법 간에 비교한다.
• 공정한 평가를 위해 RepL 성능을 단순히 이미지 증강만을 사용하는 강력한 기반 모델과 비교한다.
• 기여도 분석 방법과 클러스터링을 활용해 표현이 전문가 수익이나 행동 특화된 특징과 같은 임계적인 불변성 특성을 학습했는지 탐색한다.

실험 결과

연구 질문

• RQ1 강력한 데이터 증강 기반 베이스라인 대비 표현 학습(RepL)이 시각 기반 환경에서 타깃 학습(IL) 성능을 향상시키는가?
• RQ2 대조 학습, 모멘터니티, 프로젝션 헤드 등의 RepL 설계 선택 사항이 IL 성능에 어떤 영향을 미치는가?
• RQ3 시각 및 강화 학습 분야에선 성공했지만 타깃 학습에선 제한적인 영향을 보이는 RepL 방법의 이유는 무엇인가?
• RQ4 RepL 기반 타깃 학습 모델에서 학습된 표현이 전문가 수익이나 행동 특화된 상태 특징과 같은 임계적인 불변성 특성을 포착하는가?
• RQ5 RepL 성능는 다양한 벤치마크 환경에서 어떻게 달라지며, 이러한 차이를 설명할 수 있는 요인은 무엇인가?

주요 결과

• 평균적으로 RepL 방법은 베이직 BC보다 성능이 뛰어나지만, 이 성능 향상의 대부분은 잘 튜닝된 이미지 증강 기반 베이스라인에 의해 흡수되며, 복잡한 RepL의 추가적 이점은 극히 미미함을 시사한다.
• DMC에선 RepL가 중간 정도의 성능 향상을 보였지만, Procgen과 MAGICAL에선 성능 향상이 거의 없었으며, 이는 벤치마크 특화 효과를 반영한다.
• 시각화 지도 분석 결과, SimCLR가 학습한 표현은 CoinRun(Procgen)에서 배경 요소에 주목하는 경향이 있었고, 이는 장애물과 동전과 같은 전경 정보보다 임계도가 낮아 성능 저하를 초래함을 보여준다.
• finger-spin(DMC) 환경에선 SimCLR가 시간에 따라 변화하는 전경 객체에 주목함을 보였으며, 이는 더 유용한 정보를 제공해 성능 향상에 기여한 것으로 설명된다.
• 클러스터링 분석 결과, RepL로 학습된 표현은 행동보다 전문가 수익에 따라 더 강하게 클러스터링됨을 확인했으며, 이는 가치 관련 불변성 특성을 포착했지만 정책 특화된 특징은 포착하지 못함을 시사한다.
• GAIL의 디스criminator는 보상 함수를 근사하는 데 사용되며, RepL 사전학습으로부터 유의미한 성능 향상을 얻지 못함을 확인했으며, 이는 이 설정에서 보상 학습이 정책 학습보다 RepL에 더 민감하지 않음을 시사한다.