[논문 리뷰] Embodied Question Answering in Photorealistic Environments with Point Cloud Perception

Erik Wijmans, Samyak Datta외 7명|arXiv (Cornell University)|2019. 04. 06.

Multimodal Machine Learning Applications참고 문헌 39인용 수 13

한 줄 요약

이 논문은 Matterport3D 환경을 사용하여 대규모이고 사진처럼 사실적인 몸체화된 질의응답(EQA) 벤치마크를 소개하고, 3D 포인트 클라우드, RGB 이미지 또는 둘 다를 사용하여 내비게이션 정책을 평가한다. 포인트 클라우드가 RGB보다 장애물 회피에 더 풍부한 신호를 제공함을 보이며, 순환 모델에서 행동 클로닝 성능을 향상시키는 데 효과적인 새로운 손실 가중치 기법인 인플렉션 가중치(Inflection Weighting)를 제안한다. 또한, 단순한 베이스라인인 전진 전용 및 무작위 내비게이션 정책이 현재 평가 설정에서 놀랍도록 강력한 성능을 보임을 보여준다.

ABSTRACT

To help bridge the gap between internet vision-style problems and the goal of vision for embodied perception we instantiate a large-scale navigation task -- Embodied Question Answering [1] in photo-realistic environments (Matterport 3D). We thoroughly study navigation policies that utilize 3D point clouds, RGB images, or their combination. Our analysis of these models reveals several key findings. We find that two seemingly naive navigation baselines, forward-only and random, are strong navigators and challenging to outperform, due to the specific choice of the evaluation setting presented by [1]. We find a novel loss-weighting scheme we call Inflection Weighting to be important when training recurrent models for navigation with behavior cloning and are able to out perform the baselines with this technique. We find that point clouds provide a richer signal than RGB images for learning obstacle avoidance, motivating the use (and continued study) of 3D deep learning models for embodied navigation.

연구 동기 및 목표

• 인터넷 시각과 몸체화된 인식 사이의 격차를 해소하기 위해, Matterport3D 환경에서 대규모이고 사진처럼 사실적인 내비게이션 작업을 만든다.
• 몸체화된 질의응답을 위한 3D 포인트 클라우드, RGB 이미지 또는 그 융합을 사용하여 내비게이션 정책을 평가한다.
• 실제 환경에 유사한 환경에서 3D 인식(포인트 클라우드)과 2D 인식(RGB)의 상대적 강점을 조사한다.
• 행동 클로닝과 함께 새로운 손실 가중치 기법을 포함한 다양한 훈련 전략의 효과를 분석한다.
• 현재 평가 설정에서 단순한 베이스라인(예: 전진 전용 및 무작위 내비게이션)이 강력하게 작동하는 이유에 대한 통찰을 제공한다.

제안 방법

• 저자들은 EmbodiedQA 작업을 사진처럼 사실적인 Matterport3D(MP3D) 환경으로 확장하여, 83개의 새로운 환경에서 1136개의 질문을 포함하는 MP3D-EQA 데이터셋을 구축한다.
• 내비게이션 정책은 원시 3D 포인트 클라우드, RGB 이미지 또는 둘 다를 처리하는 엔드 투 엔드 미분 가능한 모델을 사용하여 훈련하며, 행동 예측을 위해 순환 아키텍처(LSTM 기반)를 활용한다.
• 행동 전이(인플렉션)와 계속 전이 간의 교차 엔트로피 손실을 균형 잡기 위해, 새로운 손실 가중치 기법인 인플렉션 가중치(Inflection Weighting)를 도입한다. 이는 행동 시퀀스의 클래스 불균형 문제를 해결한다.
• 최단 경로 트래잭터리에서의 전문가 시연를 사용하여 행동 클로닝으로 모델을 훈련하며, 인식 모odal, 메모리, 목표 기반 구성 요소에 대한 아블레이션 연구를 수행한다.
• 표준 평가 지표(성공률, SPL, 내비게이션 경로 길이)를 사용하며, 여러 실행에 걸쳐 90% 부트스트랩 신뢰구간을 보고한다.
• MP3D에서 '어느 색입니까?' 유형의 질문을 가능하게 하기 위해, 물체의 색상 레이블을 Amazon Mechanical Turk를 통해 수집하였다.

실험 결과

연구 질문

• RQ1 사진처럼 사실적인 환경에서 3D 포인트 클라우드 기반 내비게이션 정책이 RGB 이미지 기반 또는 그 융합 기반 정책과 비교해 어떻게 성능을 내는가?
• RQ2 현재 몸체화된 QA 평가 설정에서 전진 전용 및 무작위 내비게이션과 같은 단순한 베이스라인이 강력하게 작동하는 이유는 무엇인가?
• RQ3 인플렉션 가중치와 같은 새로운 손실 가중치 기법이 행동 클로닝을 통한 순환 모델 내비게이션 훈련의 안정성과 성능을 향상시킬 수 있는가?
• RQ4 포인트 클라우드가 RGB 이미지보다 장애물 인식에 더 풍부한 기하학적 및 장애물 인식 신호를 제공하는 정도는 어느 정도인가?
• RQ5 다양한 인식 모달(포인트 클라우드, RGB, 융합)이 엔드 투 엔드 훈련된 에이전트의 메모리 및 언어 기반 인식과 어떻게 상호작용하는가?

주요 결과

• 전진 전용 및 무작위 내비게이션 베이스라인은 MP3D-EQA 테스트 세트에서 각각 66.198%와 13.775%의 성공률을 기록하여, 현재 평가 프로토콜에서 강력하고 초월하기 어려운 성능을 보임을 시사한다.
• 포인트 클라우드 기반 모델이 RGB 전용 모델보다 장애물 회피에서 뛰어난 성능을 보이며, 최고 성능을 낸 모델(NoIW-M+PC+RGB+Q)은 성공률 32.496%와 SPL 0.383을 기록하여 RGB 전용 베이스라인을 크게 능가한다.
• 제안된 인플렉션 가중치 손실 기법은 다양한 아키텍처와 인식 모달에서 성능 향상을 이끌었으며, 최고 성능 모델(NoIW-M+PC+RGB+Q)은 32.496%의 성공률을 기록하여 행동 시퀀스 불균형 문제를 효과적으로 다루는 데 성공함을 입증한다.
• 포인트 클라우드와 RGB 이미지의 융합이 가장 뛰어난 성능을 내며, NoIW-M+PC+RGB+Q 모델은 32.496%의 성공률과 0.383의 SPL을 기록하여 3D와 2D 인식의 상호보완적 이점을 보여준다.
• 최단 경로 전문가 베이스라인은 58.1%의 성공률을 기록했지만, 최고의 학습된 정책(NoIW-M+PC+RGB+Q)이 이를 초월하여, 적절한 손실 가중치 기법을 사용한 엔드 투 엔드 훈련이 전문가 시연를 초월할 수 있음을 보여준다.
• 연구 결과에 따르면, 몸체화된 QA의 평가 설정이 특정 경로 및 성공 기준 때문에 단순한 정책을 선호함을 드러내며, 성능 향상 해석 시 베이스라인의 강건성 고려가 필요함을 시사한다.