[논문 리뷰] Soft Expert Reward Learning for Vision-and-Language Navigation

Wang Hu, Qi Wu외 1명|arXiv (Cornell University)|2020. 07. 21.

Multimodal Machine Learning Applications참고 문헌 19인용 수 5

한 줄 요약

이 논문은 시각-언어 탐색을 위한 강화학습 프레임워크인 소프트 전문가 보상 학습(SERL)을 제안한다. 이는 일반화 능력을 향상시키고 오차 누적을 줄이기 위해 소프트 전문가 디스틸레이션(SED)과 자체 인지(SP) 모듈을 결합한 것이다. SED는 무작위 투영 공간에서 에이전트와 전문가 행동 간의 유사도를 측정하여 연속적이고 소프트한 보상 신호를 제공한다. 반면 SP는 예측된 탐색 일정을 사용하여 더 빠른 목표 도달을 유도한다. SERL은 VLN-R2R 벤치마크에서 최신 기술 성능을 기록하였으며, 미리보지 않은 테스트 분할에서 56%의 성공률과 48%의 SPL을 기록하여 이전 방법들보다 본문 환경과 미리보지 않은 환경 모두에서 뛰어난 성능을 보였다.

ABSTRACT

Vision-and-Language Navigation (VLN) requires an agent to find a specified spot in an unseen environment by following natural language instructions. Dominant methods based on supervised learning clone expert's behaviours and thus perform better on seen environments, while showing restricted performance on unseen ones. Reinforcement Learning (RL) based models show better generalisation ability but have issues as well, requiring large amount of manual reward engineering is one of which. In this paper, we introduce a Soft Expert Reward Learning (SERL) model to overcome the reward engineering designing and generalisation problems of the VLN task. Our proposed method consists of two complementary components: Soft Expert Distillation (SED) module encourages agents to behave like an expert as much as possible, but in a soft fashion; Self Perceiving (SP) module targets at pushing the agent towards the final destination as fast as possible. Empirically, we evaluate our model on the VLN seen, unseen and test splits and the model outperforms the state-of-the-art methods on most of the evaluation metrics.

연구 동기 및 목표

• 행위 클로닝 기반의 VLN 에이전트가 미리보지 않은 환경에서 실패하는 오차 누적 문제를 해결한다.
• 시각-언어 탐색을 위한 강화학습에서 수동 보상 설계의 한계를 극복한다.
• 소프트 이터레이션과 내재된 일정 기반 보상 신호를 조합하여 일반화 능력을 향상시킨다.
• 탐색 정확도와 효율성을 동시에 향상시키는 견고하고 상호보완적인 보상 학습 프레임워크를 개발한다.
• 본문, 미리보지 않은, 테스트 분할 모두에서 VLN-R2R 벤치마크에서 최신 기술 성능을 달성한다.

제안 방법

• 무작위로 투영된 잠재 공간에서 에이전트와 전문가의 관측-행동 쌍 간의 유사도를 측정하여 연속적이고 미분 가능한 보상 신호를 생성하는 소프트 전문가 디스틸레이션(SED)을 도입한다.
• 무작위 투영 공간에서의 밀도 함수를 사용하여 에이전트 행동이 전문가 행동에 얼마나 가까운지를 측정함으로써, 딱딱한 이터레이션을 소프트하고 확률적인 정렬로 대체한다.
• 에이전트의 목표 향한 탐색 일정을 예측하고 이를 내재된 보상으로 사용하여 수렴 속도를 가속화하는 자체 인지(SP) 모듈을 설계한다.
• SED와 SP 보상을 통합된 강화학습 목표로 조합하여, 에이전트가 전문가와 유사한 행동과 효율적인 경로 계획을 동시에 학습할 수 있도록 한다.
• 복합 보상을 사용하여 정책 기반 강화학습 방법을 통해 에이전트를 엔드 투 엔드로 훈련시켜 이터레이션과 효율성의 공동 최적화를 가능하게 한다.
• 추론 단계에서 범위 검색을 적용하여 가장 확률이 높은 경로를 선택함으로써 성공률을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 하나의 연속적이고 소프트한 이터레이션 신호가 하드 행동 클로닝에 비해 시각-언어 탐색에서 오차 누적을 줄이는 데 효과적인가?
• RQ2 수동으로 설계된 환경 특화 보상에 의존하지 않고 내재된 일정 기반 보상 신호가 탐색 속도와 일반화 능력을 향상시키는가?
• RQ3 서로 보완적인 보상 신호—소프트 전문가 이터레이션과 자체 인지—는 미리보지 않은 환경에서 성능 향상에 어떻게 작용하는가?
• RQ4 제안된 SERL 프레임워크는 VLN-R2R 데이터셋의 본문, 미리보지 않은, 테스트 분할 전반에 걸쳐 효과적으로 일반화되는가?
• RQ5 SED와 SP 보상 구성 요소를 균형 잡는 데에 민감한가?

주요 결과

• SERL 모델은 VLN-R2R 데이터셋의 테스트 분야에서 56%의 성공률과 48%의 SPL을 기록하여 최신 기술 방법들을 능가한다.
• SED 전용 버전은 검증용 미리보지 않은 세트에서 성공률을 6%포인트 향상시켜 52%로, SPL은 0.48로 개선하여 소프트 이터레이션의 효과를 입증한다.
• SP 전용 버전은 검증용 미리보지 않은 세트에서 성공률을 53%로, SPL을 0.46로 향상시켜 내재된 일정 기반 보상이 탐색 효율성을 향상시킨다는 것을 보여준다.
• SED와 SP 모듈을 모두 포함한 전체 SERL 모델은 검증용 미리보지 않은 세트에서 56%의 성공률과 48%의 SPL을 기록하여 두 구성 요소의 상호보완적 성질을 확인한다.
• 범위 검색을 적용한 SERL 모델은 테스트 분야에서 71%의 성공률을 기록하여 뛰어난 강건성과 추론 시 성능을 보여준다.
• 민감도 분석 결과, 다양한 α 및 β 하이퍼파rameter 설정에서도 안정적인 성능을 기록하였으며, 최적 성능을 위해 α=β=0.1을 권장한다.