[논문 리뷰] Situational Fusion of Visual Representation for Visual Navigation

Bokui Shen, Danfei Xu외 4명|arXiv (Cornell University)|2019. 08. 24.

Multimodal Machine Learning Applications참고 문헌 41인용 수 17

한 줄 요약

이 논문은 시각적 태스크들—예를 들어 3차원 기하학, 의미론, 깊이—에서 유래한 다양한 시각적 표현을 융합하는 액션 수준 융합 프레임워크를 제안한다. 이는 시각적 탐색에서 제로샷 일반화를 향상시키기 위한 것이다. Taskonomy의 작업 유사도를 활용해 표현 선택을 정규화함으로써, 이미지넷 사전학습 기반 모델과 특징 수준 융합 대비 새로운 환경에서 더 뛰어난 강건성과 성능을 달성한다.

ABSTRACT

A complex visual navigation task puts an agent in different situations which call for a diverse range of visual perception abilities. For example, to "go to the nearest chair", the agent might need to identify a chair in a living room using semantics, follow along a hallway using vanishing point cues, and avoid obstacles using depth. Therefore, utilizing the appropriate visual perception abilities based on a situational understanding of the visual environment can empower these navigation models in unseen visual environments. We propose to train an agent to fuse a large set of visual representations that correspond to diverse visual perception abilities. To fully utilize each representation, we develop an action-level representation fusion scheme, which predicts an action candidate from each representation and adaptively consolidate these action candidates into the final action. Furthermore, we employ a data-driven inter-task affinity regularization to reduce redundancies and improve generalization. Our approach leads to a significantly improved performance in novel environments over ImageNet-pretrained baseline and other fusion methods.

연구 동기 및 목표

• 다양한 시각적 외관과 레이아웃을 가진 새로운 환경에서 시각적 탐색 에이전트의 제로샷 일반화를 향상시키기 위해.
• 엔드 투 엔드 강화학습 에이전트가 훈련 환경에 과적합하는 한계를 해결하기 위해 다양한 시각 태스크에서 유도된 구조적 사전 지식을 통합하기 위해.
• 단일 블랙박스 정책에 의존하는 대신 상황적 맥락에 따라 적응적으로 시각적 표현을 융합하는 융합 메커니즘을 개발하기 위해.
• Taskonomy의 데이터 기반 상호태스크 유사도를 활용해 표현 간 부족함을 줄여 일반화와 강건성을 향상시키기 위해.
• 액션 수준 융합을 통해 표현 노이즈 및 서브시스템 고장에 대한 모델 강건성을 향상시키기 위해.

제안 방법

• 다양한 시각 태스크(예: 의미 분할, 깊이 추정, 사라지는 점 탐지 등)에서 유도된 각 시각적 표현에 대해 액션 예측기 학습.
• 모든 표현의 예측을 액션 수준에서 융합하여 액션 후보를 종합된 액션으로 조합하기 위해 가중치를 적응적으로 학습.
• Taskonomy의 유사도 행렬을 사용해 상호태스크 유사도 정규화를 적용하여 부족한 표현 선택을 방지하고 상호보완적인 표현 선택을 장려.
• 각 브랜치가 다른 시각적 표현을 처리하고 후보 액션을 출력하는 다중브랜치 네트워크 아키텍처 사용.
• 탐색 성공률을 최적화하기 위해 암시적 보상과 내재적 보상을 포함한 딥 강화학습을 사용해 전체 시스템을 엔드 투 엔드로 학습.
• 표현 손실 상황(예: 손실되거나 손상된 입력)에서의 강건성을 평가하기 위해 분석 실험 수행.

실험 결과

연구 질문

• RQ1 다양한 시각 태스크에서 유래한 표현 융합이 시각적 탐색에서 제로샷 일반화를 향상시키는가?
• RQ2 표현 장애나 노이즈에 대해 액션 수준 융합이 특징 수준 융합보다 더 강건한가?
• RQ3 상호태스크 유사도 정규화가 표현 간 부족함을 줄이고 정책 일반화를 향상시키는가?
• RQ4 어떤 유형의 시각적 표현(예: 3차원 기하학, 의미론, 저수준 특징)이 탐색 성공에 가장 기여하는가?
• RQ5 부분적 또는 손상된 표현 입력 상황에서 융합 모델의 성능은 어떠한가?

주요 결과

• 상호태스크 유사도 정규화를 적용한 액션 수준 융합 모델은 이미지넷 사전학습 기반 모델과 특징 수준 융합 방법보다 새로운 Gibson 환경에서 유의미하게 높은 성공률을 기록했다.
• 유클리드 거리 추정 및 표면 법선 추정 표현이 가장 뛰어난 개별 표현으로 나타나, 탐색에서 3차원 기하학적 단서의 중요성을 입증했다.
• 의미 분할 및 기타 의미론적 표현이 높은 순위를 차지하여 목표 위치 정확도 향상에 있어 물체 수준 이해의 가치를 확인했다.
• 액션 수준 융합은 뛀난 강건성을 보였다: 표현의 50%가 손상되거나 손실된 상황에서도 의미 있는 성능 유지를 유지했으며, 특징 수준 융합보다 뛰어난 성능을 보였다.
• 노이즈가 있거나 표현 입력이 손실된 상황에서도 모델은 강력한 성능을 유지하여 서브시스템 고장에 대한 내성을 입증했다.
• 상호태스크 유사도 정규화는 더 상호보완적인 표현 선택을 이끌어내어 부족함을 줄이고 일반화를 향상시켰다.