[논문 리뷰] Unsupervised Reinforcement Learning of Transferable Meta-Skills for Embodied Navigation

Juncheng Li, Xin Wang외 5명|arXiv (Cornell University)|2019. 11. 18.

Multimodal Machine Learning Applications참고 문헌 46인용 수 6

한 줄 요약

이 논문은 레이블이 없는 3D 환경에서 어떤 지도 학습 없이도 장애물 회피나 직진과 같은 이식 가능한 메타스킬을 학습할 수 있는 새로운 비지도 강화학습 프레임워크인 ULTRA를 제안한다. 작업 생성자와 메타학습자가 교대로 훈련하는 커리큘럼 기반의 적대적 훈련 과정을 통해, 학습된 마스터 정책을 통해 새로운 시각적 탐색 작업에 빠르게 적응할 수 있으며, 기존의 기준 모델 대비 SPL에서 53.34% 향상된 성능을 기록한다.

ABSTRACT

Visual navigation is a task of training an embodied agent by intelligently navigating to a target object (e.g., television) using only visual observations. A key challenge for current deep reinforcement learning models lies in the requirements for a large amount of training data. It is exceedingly expensive to construct sufficient 3D synthetic environments annotated with the target object information. In this paper, we focus on visual navigation in the low-resource setting, where we have only a few training environments annotated with object information. We propose a novel unsupervised reinforcement learning approach to learn transferable meta-skills (e.g., bypass obstacles, go straight) from unannotated environments without any supervisory signals. The agent can then fast adapt to visual navigation through learning a high-level master policy to combine these meta-skills, when the visual-navigation-specified reward is provided. Evaluation in the AI2-THOR environments shows that our method significantly outperforms the baseline by 53.34% relatively on SPL, and further qualitative analysis demonstrates that our method learns transferable motor primitives for visual navigation.

연구 동기 및 목표

• 3D 시각적 탐색 환경에서 몸체를 가진 에이전트를 훈련할 때 발생하는 데이터 비효율성과 높은 레이블링 비용 문제를 해결하기 위해.
• 재사용 가능한 메타스킬을 학습하여 최소한의 레이블 데이터로 새로운 탐색 작업에 빠르게 적응할 수 있도록 하기 위해.
• 메타훈련 중에 수동으로 설계하거나 레이블링된 작업이 필요 없도록 하기 위해.
• 자동으로 난이도가 점차 증가하는 작업 커리큘럼을 생성할 수 있는 확장 가능한 비지도 프레임워크 개발하기 위해.
• 다양한 환경 간에 학습된 정책의 이식 가능성과 일반화 능력을 향상시키기 위해.

제안 방법

• 레이블이 없는 환경에서 자동으로 점점 더 복잡한 탐색 작업을 생성하는 커리큘럼 기반의 적대적 훈련 과정을 도입한다.
• Reptile를 최적화 방법으로 사용하여 기울기 기반 메타학습을 통해 이식 가능한 하위정책(메타스킬)을 학습한다.
• 계층적 정책 아키텍처는 마스터 정책(작업에 특화된)과 공유되는 하위정책(작업에 관계없는)으로 나누어 메타오버피팅을 줄인다.
• 하위정책은 감독 없이 다양한 환경에서 특정 행동(예: 직진, 좌회전/우회전, 장애물 회피)을 수행하도록 훈련된다.
• 메타테스트 기간 동안은 기존에 학습된 하위정책을 작업에 특화된 보상과 함께 조합하는 데에만 새로운 마스터 정책을 훈련한다.
• 비지도 탐색과 내재적 호기심을 활용하여 작업 생성과 정책 학습을 이끌어낸다.

실험 결과

연구 질문

• RQ1 레이블이 없는 3D 환경에서 어떤 지도 학습 없이도 이식 가능한 메타스킬을 비지도 방식으로 학습할 수 있는가?
• RQ2 점차 난이도가 증가하는 작업 커리큘럼을 자동으로 생성하여 메타학습자 성능을 향상시킬 수 있는가?
• RQ3 공유되는 하위정책을 가진 계층적 정책 아키텍처가 자원이 제한된 환경에서 일반화 능력을 향상시키고 오버피팅을 줄이는 데 기여하는가?
• RQ4 ULTRA의 성능는 소수의 샘플로 시각적 탐색을 수행하는 지도 학습 및 사전학습 기반 기준 모델 대비 어떻게 비교되는가?
• RQ5 학습된 하위정책은 다양한 환경에서 행동적으로 일관되고 해석 가능한가?

주요 결과

• ULTRA는 가장 강력한 기준 모델 대비 SPL에서 53.34% 상승한 성능을 기록하여 자원이 제한된 시각적 탐색 환경에서 뚜렷한 성능 향상을 입증한다.
• 제거 실험 결과 계층적 정책 아키텍처를 제거할 경우 SPL이 0.93점 감소하고 성공률이 3.47점 감소함으로써 일반화에 있어 그 중요성을 확인한다.
• 하위정책의 수를 변별한 결과, 일곱 개의 하위정책에서 성능이 최고에 도달했으며, 이를 초과하면 혼동으로 인해 성능이 저하됨을 확인했다.
• 정성적 분석 결과 각 하위정책은 다양한 환경에서 일관되고 해석 가능한 행동을 보였다(예: 하위정책1은 항상 장애물을 회피하고, 하위정책2는 항상 오른쪽으로 도는 등).
• 커리큘럼 기반의 적대적 훈련은 무작위 작업 샘플링보다 성능이 뛰어나, 체계적인 작업 진도의 효과를 입증한다.
• 이미지 기반 탐색에서 미세조정하는 사전학습 기반 기준 모델보다도 성능이 뛰어나, 이러한 사전학습 방식이 의미 있는 시각적 탐색에 잘 이식되지 않는다는 것을 시사한다.