[논문 리뷰] Visual Semantic Navigation using Scene Priors

Wei Yang, Xiaolong Wang외 3명|arXiv (Cornell University)|2018. 10. 15.

Multimodal Machine Learning Applications참고 문헌 33인용 수 37

한 줄 요약

이 논문은 시각적 의미 탐색을 향상시키기 위해 의미적 및 기능적 환경 사전 지식을 통합한 그래프 컬러리션 네트워크(GCN) 기반 딥 강화학습 프레임워크를 제안한다. 객체 배치에 대한 사전 지식(예: 머그컵은 커피 머신 근처에 놓임)을 지식 그래프에 인코딩하여, 미리 보지 않은 환경과 새로운 객체에 대해 더 잘 일반화되도록 하며, 성공률과 SPL에서 뚜렷한 향상을 이룬다. 특히 새로운 환경과 객체가 포함된 제로샷 설정에서 두드러진 성능 향상을 보였다.

ABSTRACT

How do humans navigate to target objects in novel scenes? Do we use the semantic/functional priors we have built over years to efficiently search and navigate? For example, to search for mugs, we search cabinets near the coffee machine and for fruits we try the fridge. In this work, we focus on incorporating semantic priors in the task of semantic navigation. We propose to use Graph Convolutional Networks for incorporating the prior knowledge into a deep reinforcement learning framework. The agent uses the features from the knowledge graph to predict the actions. For evaluation, we use the AI2-THOR framework. Our experiments show how semantic knowledge improves performance significantly. More importantly, we show improvement in generalization to unseen scenes and/or objects. The supplementary video can be accessed at the following link: https://youtu.be/otKjuO805dE .

연구 동기 및 목표

• 미리 알지 못한 환경에서 객체 배치에 대한 학습된 의미적 및 기능적 사전 지식을 활용하여 시각적 의미 탐색 성능을 향상시키기 위해.
• 의미 관계(예: '망고는 과일이므로 냉장고 안에서 찾을 수 있음')를 이용해 훈련 중에 본 적이 없는 새로운 객체 유형에 대해 에이전트가 일반화할 수 있도록 하기 위해.
• 일반적인 객체-환경 구성에 대한 사전 지식을 통해 탐색 시간을 줄여 효율성을 높이기 위해.
• 미리 보지 않은 환경과/또는 새로운 목표 객체가 포함된 제로샷 설정에서 모델의 견고성 평가하기 위해.
• 구조화된 지식 그래프가 복잡하고 현실적인 환경에서 표준 강화학습 기반 모델보다 일반화 성능을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 대규모 환경 이해 데이터셋에서 유래한 의미적 및 기능적 사전 지식(예: '머그컵은 커피 머신과 함께 사용됨', '과일은 냉장고에 보관됨')를 지식 그래프에 인코딩한다.
• 현재 시각적 관측과 사전 상태를 기반으로 지식 그래프를 업데이트하고 사전 지식을 전파하기 위해 그래프 컬러리션 네트워크(GCN)를 사용한다.
• 에이전트-크리틱 강화학습 프레임워크에 지식 그래프의 특징과 객체 가시성 신호를 통합한다.
• 실시간 관측과 사전 지식을 융합하여 추론 중에 지식 그래프를 동적으로 업데이트함으로써 맥락 인식 추론을 가능하게 한다.
• 사진처럼 사실적인, 사용자 정의 가능한 실내 환경을 제공하는 AI2-THOR 환경에서 모델을 엔드 투 엔드로 훈련한다.
• 에이전트가 목표에 도달했음을 감지해야 하는 '정지' 동작을 도입하여 현실적인 탐색 환경을 모사함으로써 작업 난이도를 높인다.

실험 결과

연구 질문

• RQ1 기능적 관계(예: 머그컵은 커피 머신 근처에 있음)와 같은 의미 사전 지식이 새로운 환경에서의 탐색 성능 향상에 기여하는가?
• RQ2 의미 관계만을 이용해 훈련 중에 본 적이 없는 새로운 객체 유형(예: 망고)에 대해 에이전트가 얼마나 잘 일반화할 수 있는가?
• RQ3 구조화된 지식 그래프를 통합할 경우 제로샷 설정(새로운 환경과 새로운 객체)에서 일반화 성능에 어떤 영향을 미치는가?
• RQ4 실시간으로 지식를 업데이트하는 GCN를 사용할 경우, 표준 강화학습 에이전트보다 더 나은 탐색 및 계획 성능를 보이는가?
• RQ5 성능는 지식 그래프의 품질과 구조(예: 노드/관계 제거)에 얼마나 민감한가?

주요 결과

• 제안된 방법은 새로운 환경과 새로운 객체가 포함된 시나리오에서 성공률 38.5%와 SPL 62.5%를 달성하여 A3C 기준선(성공률 24.4%, SPL 56.5%)과 비교해 뚜렷한 성능 향상을 보였다.
• 어려운 제로샷 설정(새로운 환경과 새로운 목표 객체)에서 모델은 성공률 30.4%와 SPL 64.9%를 기록하여 훈련 데이터를 초월한 강력한 일반화 능력을 입증했다.
• 지식 그래프의 구성 요소를 제거할 경우 성능 저하가 발생함: 객체 노드의 80%를 제거하면 SPL이 38.5에서 31.1로 감소하고, 관계의 80%를 제거하면 31.5로 감소함.
• 완전 연결형 또는 무작위 그래프의 경우 구조화된 지식 그래프보다 성능이 열 劣하다(SPL: 32.5 및 30.1), 이는 의미 있는 사전 지식 구조의 중요성을 확인한다.
• GCN 모듈은 기준선 A3C 모델(~4 GFLOPs)에 대해 추가로 약 0.12 GFLOPs만 소모하여 계산 오버헤드가 극히 적음을 보여준다.
• 모든 설정에서 기준선보다 더 우수한 일반화 성능를 보이며, 특히 제로샷 시나리오에서 두드러진 성능 향상을 보여, 의미 사전 지식이 특정 환경이나 객체에 노출되지 않은 상태에서도 효과적인 추론을 가능하게 한다.