[논문 리뷰] Target Driven Visual Navigation with Hybrid Asynchronous Universal Successor Representations

Shamane Siriwardhana, Rivindu Weerasekera외 1명|arXiv (Cornell University)|2018. 11. 27.

Multimodal Machine Learning Applications참고 문헌 21인용 수 4

한 줄 요약

이 논문은 복잡한 사진처럼 생긴 환경에서 목표 중심 시각적 탐색을 가능하게 하는 새로운 딥 강화학습 아키텍처인 하이브리드 비동기 유니버설 슈세서서 표현(HAUSR)을 제안한다. 이 방법은 유니버설 슈세서서 표현(USR)과 비동기 액터-크리틱 학습을 결합하여 미세조정 없이도 새로운 목표로의 강력한 일반화를 달성하고, 전이 학습을 통해 빠른 적응을 가능하게 한다. AI2THOR 시뮬레이션에서 높은 성공률로 새로운 목표를 성취함으로써 뛰어난 성능을 입증한다.

ABSTRACT

Being able to navigate to a target with minimal supervision and prior knowledge is critical to creating human-like assistive agents. Prior work on map-based and map-less approaches have limited generalizability. In this paper, we present a novel approach, Hybrid Asynchronous Universal Successor Representations (HAUSR), which overcomes the problem of generalizability to new goals by adapting recent work on Universal Successor Representations with Asynchronous Actor-Critic Agents. We show that the agent was able to successfully reach novel goals and we were able to quickly fine-tune the network for adapting to new scenes. This opens up novel application scenarios where intelligent agents could learn from and adapt to a wide range of environments with minimal human input.

연구 동기 및 목표

• 동적인 실제 환경에서 기존의 지도 기반 및 지도 없는 시각적 탐색 방법의 일반화 능력이 제한되어 있는 문제를 해결하기 위해.
• 재학습 없이도 다양한 탐색 목표 간에 일반화할 수 있도록 딥 강화학습 에이전트를 설계하기 위해.
• 유니버설 슈세서서 표현과 비동기 학습을 융합한 안정적이고 확장 가능한 아키텍처를 개발하기 위해.
• 효율적인 전이 학습을 통해 새로운 환경과 목표로의 빠른 적응을 가능하게 하기 위해.

제안 방법

• HAUSR 프레임워크는 유니버설 슈세서서 표현(USR)과 비동기 이득 액터-크리틱(A3C) 학습을 융합하여 다수의 목표 간에 이동 가능한 상태-행동 가치 함수를 학습한다.
• 학습 안정성 향상과 일반화 성능 향상을 위해 표준 가치 손실과 슈세서서 표현(SR) 손실을 조합한 하이브리드 손실 함수를 적용한다.
• 특정 보상에 의존하지 않는 환경의 동역학을 포착하는 공유 슈세서서 표현을 학습함으로써 새로운 목표로의 전이가 가능해진다.
• 시각적 관측과 희박한 보상만을 사용하여 사진처럼 생긴 시뮬레이션 환경(AI2THOR)에서 학습한다.
• 새로운 목표에 대해 보상 예측 헤드만을 미세조정하여 최소한의 추가 학습으로도 빠른 적응이 가능하다.
• 정책 학습과 보상 형상 조정을 분리함으로써, 사전에 학습된 동역학 표현을 활용해 새로운 타겟으로의 일반화가 가능해진다.

실험 결과

연구 질문

• RQ1 사용자 정의된 탐색 목표가 없는 사진처럼 생긴 환경에서 추가 학습 없이도 딥 강화학습 에이전트가 새로운 목표로 일반화할 수 있는가?
• RQ2 제안된 HAUSR 아키텍처는 전이 학습을 통해 새로운 목표로의 빠른 적응을 얼마나 효과적으로 가능하게 하는가?
• RQ3 표준 딥 강화학습 기반 모델 대비 유니버설 슈세서서 표현은 고차원 시각적 탐색 과제에서 일반화 성능을 향상시킬 수 있는가?
• RQ4 A3C와 SR 손실을 융합한 하이브리드 학습 방식은 복잡한 환경에서 더 안정적이고 확장 가능한 학습을 이끌 수 있는가?

주요 결과

• 에이전트는 AI2THOR 욕실 환경에서 훈련되지 않은 50개의 새로운 목표 위치에 대해 추가적인 미세조정 없이도 높은 성공률를 기록하여 강력한 제로샷 일반화 능력을 입증했다.
• 모델은 외관은 유사하지만 서로 다른 목표를 정확히 구분할 수 있었으며, 이는 견고한 표현 학습 능력을 보여준다.
• 전이 학습을 통해 15분 이내로 이전에는 도달할 수 없었던 목표로의 탐색을 학습할 수 있었으며, 훈련 시간을 크게 줄였다.
• SR 손실이 시간이 지남에 따라 점차 안정화되었고, 0에 도달하지 않아도 부분적인 슈세서서 표현 학습만으로도 효과적인 일반화가 가능함을 시사했다.
• 값 손실과 SR 손실을 모두 포함한 하이브리드 학습 방식은 안정적인 학습 동역학을 유도하였으며, 수렴성과 일반화 성능 면에서 표준 A3C보다 뛰어났다.
• 원래 표본 또는 단순 환경에서 테스트된 USR을 고차원적이고 연속적인 시각적 탐색 과제에 대해 복잡한 시뮬레이션 환경으로 성공적으로 확장하였다.