[논문 리뷰] Target driven visual navigation exploiting object relationships

Yiding Qiu, Anwesan Pal외 1명|arXiv (Cornell University)|2020. 03. 15.

Multimodal Machine Learning Applications참고 문헌 34인용 수 16

한 줄 요약

이 논문은 메모리 활용 계층적 학습 프레임워크를 사용하여 대상 객체와 그들의 주목할 만한 부모 객체 간의 관계를 활용하는 목표 지향 시각적 탐색 방법 MJOLNIR을 제안한다. 실내 환경에서의 맥락적 관계를 명시적으로 모델링하여, 최신 기술 대비 약 30퍼센트 높은 성공률과 더 빠른 수렴 속도를 달성한다.

ABSTRACT

Recently driven visual navigation strategies have gained a lot of popularity in the computer vision and reinforcement learning community. Unfortunately, most of the current research tends to incorporate sensory input into a reward-based learning approach, with the hope that a robot can implicitly learn its optimal actions through recursive trials. These methods seldom generalize across domains as they fail to exploit natural environment object relationships. We present Memory-utilized Joint hierarchical Object Learning for Navigation in Indoor Rooms (MJOLNIR), a target-driven visual navigation algorithm, which considers the inherent relationship between target objects, along with the more salient parent objects occurring in its surrounding. Extensive experiments conducted across multiple environment settings show $\approx extbf{30 %}$ improvement over the existing state-of-the-art navigation methods in terms of the success rate. We also show that our model learns to converge much faster than other algorithms. We will make our code publicly available for use in the scientific community.

연구 동기 및 목표

• 기존의 보상 기반 시각적 탐색 방법이 도메인 간에서 일반화 성능이 떨어지는 문제를 해결하기 위해.
• 환경 내 대상 객체와 그들의 부모 객체 간의 관계를 명시적으로 모델링하여 탐색 성능을 향상시키기 위해.
• 맥락적 환경 구조를 포착하여 더 나은 의사결정을 가능하게 하는 계층적 메모리 보강 학습 프레임워크를 개발하기 위해.
• 목표 지향 시각적 탐색 작업에서 더 빠른 수렴 속도와 더 높은 성공률를 달성하기 위해.

제안 방법

• MJOLNIR는 메모리 보강 메커니즘을 사용하여 객체 간 관계와 탐색 정책을 함께 학습하는 계층적 아키텍처를 채택한다.
• 대상 객체와 더 주목할 만한 부모 객체 간의 공간적 및 의미적 관계(예: '컵'이 '테이블' 위에 있는 경우)를 모델링하여 장면 이해를 향상시킨다.
• 메모리 모듈은 관련된 객체-맥락 특징을 저장하고 검색하여 시간에 따라 탐색 결정을 안내한다.
• 보상 기반 강화 학습 프레임워크를 사용하지만, 객체 계층 구조에서 유래한 구조적 관계 인덕티브 바이어스를 통합하여 향상시킨다.
• 정책 일반화를 향상시키기 위해 시각적 관측치와 목표 조건부 지도 학습을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 장면 맥락을 활용하여 탐색 비효율성을 줄이고 수렴 속도를 가속화한다.

실험 결과

연구 질문

• RQ1 대상 객체와 그들의 부모 객체 간의 객체 관계를 모델링하면, 미리 보지 않은 환경에서의 탐색 성공률 향상에 기여하는가?
• RQ2 구조적 관계 인덕티브 바이어스를 통합할 경우, 시각적 탐색 에이전트의 일반화 능력과 수렴 속도에 어떤 영향을 미치는가?
• RQ3 메모리 보강 계층적 학습이 목표 지향 탐색에서 표준 딥 강화 학습보다 얼마나 뛰어난가?
• RQ4 환경 맥락을 명시적으로 모델링하면, 표준 보상 기반 방법 대비 정책 수렴 속도가 더 빠른가?

주요 결과

• MJOLNIR는 다양한 환경 설정에서 최신 기술 대비 약 30퍼센트 높은 성공률를 달성한다.
• 기존 방법 대비 상당히 더 빠른 수렴 속도를 보이며, 샘플 효율성이 향상됨을 시사한다.
• 객체 관계 통합은 다양한 실내 환경에서의 일반화 능력을 향상시킨다.
• 메모리 보강 계층적 설계는 맥락 이해를 향상시켜 광범위한 시행착오 학습에 대한 의존도를 감소시킨다.