[논문 리뷰] Look Before You Leap: Bridging Model-Free and Model-Based Reinforcement Learning for Planned-Ahead Vision-and-Language Navigation

Xin Wang, Wenhan Xiong외 2명|arXiv (Cornell University)|2018. 03. 21.

Multimodal Machine Learning Applications참고 문헌 32인용 수 22

한 줄 요약

이 논문은 시각-언어 탐색을 위한 모델-프리(model-free) 및 모델-기반(model-based) 딥 강화학습을 통합하는 하이브리드 강화학습 프레임워크인 강화된 사전 계획(Reinforced Planning Ahead, RPA)을 제안한다. 현재 관측값과 행동에서 다음 상태와 보상을 예측하는 학습된 환경 모델과 미래 상태 및 보상을 시뮬레이션하는 룩어헤드(look-ahead) 정책을 결합함으로써, RPA는 실세계 Room-to-Room(R2R) 데이터셋에서 탐색 성능과 일반화 능력을 크게 향상시키며, 기존 모델-프리 기반 모델 대비 미리 보지 않은 환경에서 14.5% 상대적인 성공률 향상을 달성하여 최신 기술 수준의 성과를 기록한다.

ABSTRACT

Existing research studies on vision and language grounding for robot navigation focus on improving model-free deep reinforcement learning (DRL) models in synthetic environments. However, model-free DRL models do not consider the dynamics in the real-world environments, and they often fail to generalize to new scenes. In this paper, we take a radical approach to bridge the gap between synthetic studies and real-world practices---We propose a novel, planned-ahead hybrid reinforcement learning model that combines model-free and model-based reinforcement learning to solve a real-world vision-language navigation task. Our look-ahead module tightly integrates a look-ahead policy model with an environment model that predicts the next state and the reward. Experimental results suggest that our proposed method significantly outperforms the baselines and achieves the best on the real-world Room-to-Room dataset. Moreover, our scalable method is more generalizable when transferring to unseen environments.

연구 동기 및 목표

• 모델-프리 강화학습의 일반화 격차를 실세계 시각-언어 탐색 작업에서 해결하기 위해.
• 내부 환경 모델을 사용해 미래 상태와 보상을 시뮬레이션함으로써 몸체화된 에이전트가 사전 계획을 수행할 수 있도록 하기 위해.
• 하이브리드 모델-프리 및 모델-기반 학습을 통해 새로운 환경에서 탐색 성공률과 내구성을 향상시키기 위해.
• 기존 모델-프리 접근 방식을 능가하는 확장 가능하고 일반화 가능한 방법을 개발하기 위해.

제안 방법

• RPA 프레임워크는 현재 관측값과 행동에서 다음 상태와 보상을 예측하는 학습된 환경 모델과 모델-프리 정책을 통합한다.
• 룩어헤드 모듈은 환경 모델을 사용해 다단계 트레이젝터리와 행동 선택을 위한 예상 누적 보상을 시뮬레이션한다.
• 환경 모델은 시뮬레이션 데이터 기반으로 지도학습을 통해 훈련되며, 상태 전이 오차와 보상 예측 오차를 모두 최소화한다.
• 최종 정책는 보상 신호를 밀도화하고 성공 여부 신호를 통합한 할인 보상 신호를 사용해 프록시멀 정책 최적화(PPO)를 통해 종합적으로 훈련된다.
• 훈련 안정성과 샘플 효율성을 향상시키기 위해 커리큘럼 학습 전략을 활용한다.
• 사전 훈련된 환경 모델을 새로운 환경에 재사용함으로써 확장 가능한 배포를 지원한다.

실험 결과

연구 질문

• RQ1 모델-프리 및 모델-기반 강화학습을 융합하면 실세계 시각-언어 탐색에서 성능 향상에 기여하는가?
• RQ2 학습된 환경 모델을 사용한 룩어헤드 계획은 새로운 환경으로의 일반화를 향상시키는가?
• RQ3 시뮬레이션된 미래 트레이젝터리의 통합은 탐색 성공률과 내구성에 어떤 영향을 미치는가?
• RQ4 탐색 오차와 성공률 측면에서 성능을 최대화하는 데 가장 효과적인 보상 형상화 전략은 무엇인가?
• RQ5 제안된 방법은 새로운, 미리 보지 않은 환경으로 효과적으로 확장 및 이식 가능한가?

주요 결과

• RPA 모델은 R2R 검증용 미리 보지 않은 데이터셋에서 53.5%의 성공률을 기록했으며, 최고의 모델-프리 기반 모델 대비 15.5% 상대적인 향상을 보였다.
• 테스트 세트에서 RPA 모델은 28.9%의 성공률을 기록했으며, 모델-프리 기반 모델 대비 14.5% 상대적인 향상을 달성했다.
• 모델 기반 구성 요소는 일반화 능력을 크게 향상시키며, 새로운 환경에서의 성능 향상 폭이 기존 환경에서의 것보다 뚜렷하게 크다.
• 환경 모델은 약 500회의 훈련 반복 후 안정적으로 수렴하며, 전이 오차와 보상 예측 오차 모두 안정된 값으로 감소한다.
• 할인 보상에 성공 신호를 통합한 방식(Discouted & Success)이 전역 거리 보상 및 단순 이진 성공 신호 보상보다 가장 뛰어난 성능을 보였다.
• 아블레이션 연구를 통해 룩어헤드 모듈이 성능 향상에 핵심적인 역할을 하며, 특히 새로운 환경에서의 성능 향상에 기여함을 확인했다.