[논문 리뷰] SSCNav: Confidence-Aware Semantic Scene Completion for Visual Semantic Navigation

Yiqing Liang, Boyuan Chen외 1명|arXiv (Cornell University)|2020. 12. 08.

Multimodal Machine Learning Applications참고 문헌 29인용 수 4

한 줄 요약

SSCNav는 부분적인 RGB-D 관측에서 완전한 3D 환경 레이아웃을 추론하기 위해 학습된 맥락적 사전 지식과 불확실성 추정을 활용하는 신뢰도 인식형 의미적 환경 완성 모듈을 제안한다. 강화학습 정책에 의미적 완성과 신뢰도 맵을 통합함으로써, 기준 방법보다 성공률이 5.3% 높고 SPL이 3.9% 높아져, 불확실성 인식형 환경 사전 지식이 탐색 효율성과 내구성에 크게 기여함을 입증한다.

ABSTRACT

This paper focuses on visual semantic navigation, the task of producing actions for an active agent to navigate to a specified target object category in an unknown environment. To complete this task, the algorithm should simultaneously locate and navigate to an instance of the category. In comparison to the traditional point goal navigation, this task requires the agent to have a stronger contextual prior to indoor environments. We introduce SSCNav, an algorithm that explicitly models scene priors using a confidence-aware semantic scene completion module to complete the scene and guide the agent's navigation planning. Given a partial observation of the environment, SSCNav first infers a complete scene representation with semantic labels for the unobserved scene together with a confidence map associated with its own prediction. Then, a policy network infers the action from the scene completion result and confidence map. Our experiments demonstrate that the proposed scene completion module improves the efficiency of the downstream navigation policies. Video, code, and data: https://sscnav.cs.columbia.edu/

연구 동기 및 목표

• 부분 관측을 초월한 맥락적 사전 지식을 활용하여 미지의 실내 환경에서 시각적 의미적 탐색을 향상시키는 것.
• 오직 부분적이고 가림된 시야만 제공될 때 목표 물체 카테고리로의 탐색 도전 과제를 해결하는 것.
• 환경 완성 예측의 불확실성을 명시적으로 모델링하여 탐색 계획을 향상시키는 것.
• 신뢰도 인식형 환경 완성이 더 효율적이고 신뢰할 수 있는 탐색 정책을 이끌어내는지 입증하는 것.
• 탐색 과제에서 조밀한 공간적 액션 맵이 흩어진 액션 표현보다 우월한지 검증하는 것.

제안 방법

• 이 방법은 부분적인 RGB-D 관측에서 전체 3D 환경 레이아웃(상단 시점 맵)을 예측하는 신뢰도 인식형 의미적 환경 완성 모듈을 사용한다.
• 완성 모듈은 의미 레이블과 조밀한 신뢰도 맵을 동시에 생성하며, 자기지도 학습 기반의 신뢰도 예측을 통해 각 픽셀의 불확실성을 추정한다.
• 딥 강화학습 정책은 완성된 의미 맵과 신뢰도 맵을 입력으로 받아 조밀한 공간적 액션 맵을 통해 액션을 생성한다.
• 공간적 액션 맵은 맵 내 각 픽셀 향한 이동으로 액션을 표현하여 세밀하고 계획에 부합하는 탐색 결정을 가능하게 한다.
• 커리큘럼 학습과 커리큘럼 기반 탐색을 활용하여 엔드 투 엔드로 시스템을 훈련시킨다.
• 제거 분석은 신뢰도 추정, 환경 완성, 액션 표현 방식의 영향을 [SSCNav-CF], [SSCNav/SA], [SSCNav/BC]와 같은 변형을 통해 비교한다.

실험 결과

연구 질문

• RQ1 표준 환경 완성 대비 신뢰도 인식형 의미적 환경 완성이 시각적 의미적 탐색 성능을 향상시키는가?
• RQ2 환경 완성 예측에서의 불확실성 추정은 탐색 정책의 신뢰성과 성공률에 어떤 영향을 미치는가?
• RQ3 조밀한 공간적 액션 맵과 흩어진 액션 표현 방식의 사용은 탐색 효율성에 어떤 영향을 미치는가?
• RQ4 강한 공간적 편향을 가진 물체(예: 화장실) 탐색에 환경 완성에서 유도된 맥락적 사전 지식이 얼마나 기여하는가?
• RQ5 정답 세그멘테이션 정보가 제공될 경우 모델의 성능은 어떻게 되며, 환경 완성은 여전히 유의미한 가치를 제공하는가?

주요 결과

• SSCNav는 기준 방법 [SSCNav-CF] 대비 성공률이 5.3% 높고 SPL이 3.9% 높으며, 이는 신뢰도 인식형 완성이 탐색 성능 향상에 크게 기여함을 입증한다.
• 신뢰도 인식 모듈은 환경 완성 오류를 더 잘 다루며, 화장실처럼 강한 맥락적 사전 지식을 가진 물체에 특히 유리하다.
• 정답 세그멘테이션 정보가 제공되더라도 SSCNav는 오라클 기준보다 성능이 뛰어나, 환경 완성이 정확한 인식을 넘어서 가치를 제공함을 시사한다.
• 조밀한 공간적 액션 맵 표현 방식은 흩어진 액션 표현 방식 대비 성공률이 16.2% 높고 SPL이 14.8% 높아, 계획 수립에서의 우월성을 확인한다.
• SSCNav가 학습한 신뢰도 맵은 가시성 기반 단순 이진 신뢰도 마스크보다 성능이 뛰어나 성공률을 1.9% 향상시키고 SPL을 0.7% 향상시킨다.
• 소파나 테이블과 같은 일반적인 물체의 경우 환경 완성의 이점은 약해지지만, 신뢰도 추정은 여전히 내구성을 향상시킨다.