[논문 리뷰] Improving Target-driven Visual Navigation with Attention on 3D Spatial Relationships

Yunlian Lv, Ning Xie외 3명|arXiv (Cornell University)|2020. 04. 29.

Multimodal Machine Learning Applications참고 문헌 63인용 수 21

한 줄 요약

이 논문은 3D 환경에서 목표 지향 시각적 탐색을 위한 새로운 딥 강화학습 프레임워크를 제안한다. 이 프레임워크는 3D 지식 그래프(KG)와 그래프 컬러이션 네트워크(GCN)를 통합하고, 하위 목표를 생성하여 데이터 효율성과 일반화 능력을 향상시키는 목표 기술 확장(TSE) 모듈을 포함한다. 이 방법은 공간적 관계에 대한 주의를 강화하고 실패로부터 학습할 수 있도록 하여, 기준 대비 AI2-THOR에서 SR 및 SPL 지표에서 뛰어난 성능을 달성한다.

ABSTRACT

Embodied artificial intelligence (AI) tasks shift from tasks focusing on internet images to active settings involving embodied agents that perceive and act within 3D environments. In this paper, we investigate the target-driven visual navigation using deep reinforcement learning (DRL) in 3D indoor scenes, whose navigation task aims to train an agent that can intelligently make a series of decisions to arrive at a pre-specified target location from any possible starting positions only based on egocentric views. However, most navigation methods currently struggle against several challenging problems, such as data efficiency, automatic obstacle avoidance, and generalization. Generalization problem means that agent does not have the ability to transfer navigation skills learned from previous experience to unseen targets and scenes. To address these issues, we incorporate two designs into classic DRL framework: attention on 3D knowledge graph (KG) and target skill extension (TSE) module. On the one hand, our proposed method combines visual features and 3D spatial representations to learn navigation policy. On the other hand, TSE module is used to generate sub-targets which allow agent to learn from failures. Specifically, our 3D spatial relationships are encoded through recently popular graph convolutional network (GCN). Considering the real world settings, our work also considers open action and adds actionable targets into conventional navigation situations. Those more difficult settings are applied to test whether DRL agent really understand its task, navigating environment, and can carry out reasoning. Our experiments, performed in the AI2-THOR, show that our model outperforms the baselines in both SR and SPL metrics, and improves generalization ability across targets and scenes.

연구 동기 및 목표

• 목표 지향 시각적 탐색에서 발생하는 일반화 갭을 해결하기 위해, 에이전트가 새로운 목표와 환경으로 스킬을 전이하지 못하는 문제를 해결한다.
• 탐색 작업에서 희소 보상 문제를 완화하여 딥 강화학습의 데이터 효율성을 향상시킨다.
• 지식 그래프와 GCN를 사용하여 물체 간 3D 공간적 관계를 인코딩함으로써 공간적 추론 능력을 향상시킨다.
• TSE 모듈을 통해 하위 목표를 도입하여 에이전트가 중간 단계의 실패로부터 학습할 수 있도록 한다.
• 정적 목표와 작동 가능한 목표(예: 상호작용할 수 있는 물체) 모두에서 성능을 평가하며, 개방형 어휘 및 개방형 동작 설정을 포함한다.

제안 방법

• 에이전트가 탐색하는 동안 관찰한 물체 검출 결과와 공간적 관계(예: '위에', '아래에', '왼쪽에')를 기반으로 3D 지식 그래프를 구축한다.
• 그래프 컬러이션 네트워크(GCN)를 적용하여 지식 그래프 내 노드 특징을 인코딩함으로써 학습된 표현에서 공간 레이아웃을 유지한다.
• 정책 결정 과정에서 지식 그래프 내 관련 물체와 공간적 관계를 동적으로 주의 집중하기 위해 엔드 투 엔드 주의 메커니즘을 사용한다.
• TSE 모듈은 목표 이미지와 환경에서 하위 목표를 생성하여 에이전트가 중간 단계의 실패로부터 학습하고 탐색을 향상시킬 수 있도록 한다.
• 에이전트의 시각적 특징과 KG에 통합된 공간 지식을 통합하여 행동 선택을 안내한다.
• 이 방법은 하위 목표를 통한 커리큘럼 학습과 열악한 전문가 경로로부터의 모방 학습을 통해 A3C로 훈련되며, 수렴 속도가 향상된다.

실험 결과

연구 질문

• RQ1 3D 공간 지식 그래프는 시각적 탐색에서 새로운 목표와 환경에 대해 제로샷 일반화를 향상시키는가?
• RQ2 TSE 모듈을 통해 하위 목표를 통합할 경우, DRL 기반 탐색에서 데이터 효율성과 수렴 속도에 어떤 영향을 미치는가?
• RQ3 공간적 관계에 대한 주의가 정책 학습과 장애물 회피 능력에 얼마나 기여하는가?
• RQ4 모델은 정적 목표 외에도 작동 가능한 목표(예: 냉장고에서 빵과 상추를 찾는 것)로 일반화할 수 있는가?
• RQ5 KG에 대한 엔드 투 엔드 주의가 표준 시각적 특징 전용 모델에 비해 추론 및 탐색 성능을 향상시키는가?

주요 결과

• 제안된 모델은 AI2-THOR에서 기준 대비 성공률(SR) 및 SPL 지표에서 모두 기준 모델을 능가하며, 향상된 탐색 성능을 입증한다.
• 모델은 새로운 목표와 환경에 대해 더 나은 일반화 능력을 보이며, 공간 지식을 통한 효과적인 전이 학습을 나타낸다.
• TSE 모듈은 데이터 효율성을 크게 향상시켜 표준 A3C보다 빠른 수렴을 가능하게 하며, 일부 경우에서 모방 학습을 초월하는 성능을 달성한다.
• t-SNE 시각화 결과, GCN로 학습된 노드 특징이 공간 레이아웃을 유지하며, 공간적으로 가까운 물체(예: 선반 위의 꽃병과 조각상)가 특징 공간에서 군집되어 있음을 확인했다.
• 주의 메커니즘이 자동으로 적절한 타이밍에 관련 물체(예: 토스터, 머그컵)에 집중함으로써 인간과 유사한 추론 방식을 모방한다.
• 모델은 정적 목표 외에도 냉장고에서 빵과 상추를 찾는 것과 같은 작동 가능한 목표로도 잘 일반화되며, 개방형 동작 설정에서도 뛰어난 내구성을 보였다.