[논문 리뷰] Self-supervised 3D Semantic Representation Learning for Vision-and-Language Navigation

Sinan Tan, Mengmeng Ge외 3명|arXiv (Cornell University)|2022. 01. 26.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 시각-언어 탐색을 위한 자기지도 학습 3D 의미 표현 학습 프레임워크를 제안하며, RGB-D 입력에서 복소수 수준의 3D 의미 특징을 학습하기 위해 영역 쿼리 사전 작업 태스크를 사용한다. 이 방법은 R2R 검증에서 미사용 분할에 대해 68%의 성공률을 기록하고, 테스트에서 미사용 분할에 대해 66%의 성공률을 기록하여 대부분의 RGB 기반 방법을 능가하며, RGB만을 사용하는 특징보다 3D 의미 특징의 우수성을 입증한다.

ABSTRACT

In the Vision-and-Language Navigation task, the embodied agent follows linguistic instructions and navigates to a specific goal. It is important in many practical scenarios and has attracted extensive attention from both computer vision and robotics communities. However, most existing works only use RGB images but neglect the 3D semantic information of the scene. To this end, we develop a novel self-supervised training framework to encode the voxel-level 3D semantic reconstruction into a 3D semantic representation. Specifically, a region query task is designed as the pretext task, which predicts the presence or absence of objects of a particular class in a specific 3D region. Then, we construct an LSTM-based navigation model and train it with the proposed 3D semantic representations and BERT language features on vision-language pairs. Experiments show that the proposed approach achieves success rates of 68% and 66% on the validation unseen and test unseen splits of the R2R dataset respectively, which are superior to most of RGB-based methods utilizing vision-language transformers.

연구 동기 및 목표

• 시각-언어 탐색에서 RGB만을 사용하는 특징의 한계를 해결하기 위해, 이는 질감 잡음을 유발하고 과적합 문제를 야기하기 때문이다.
• RGB-D 관측치로부터 3D 의미 정보를 활용하여 몸체적 에이전트의 인식 및 탐색 일반화 능력을 향상시키기 위해.
• 밀도 높은 3D 애너테이션을 필요로 하지 않는 3D 의미 표현을 위한 자기지도 학습 미리 훈련 방법을 개발하기 위해.
• LSTM 기반 탐색 모델에 언어 특징과 3D 의미 특징을 융합하여 성능 향상시키기 위해.
• 3D 의미 특징이 RGB 특징보다 더 효과적이며, 융합 시 상호 보완적인 이점을 제공할 수 있음을 입증하기 위해.

제안 방법

• 특정 객체 클래스가 3D 복소수 영역 내에 존재하는지 여부를 예측하기 위해 영역 쿼리 사전 작업 태스크를 설계하여, 3D 의미 표현의 자기지도 학습을 가능하게 한다.
• 파노라마 RGB 및 깊이 관측치를 통해 투영 및 복소수화를 통해 3D 의미 재구성 생성.
• 3D 의미 인코더는 레이블이 없는 3D 재구성에서 영역 쿼리 태스크를 사용해 미리 훈련하여 국소적 의미 콘텐츠를 인코딩하는 데 학습한다.
• 언어 특징은 BERT를 사용해 추출하며, 탐색 정책은 언어와 3D 의미 특징을 융합하기 위해 교차 어텐션을 갖춘 LSTM을 사용한다.
• 최종 탐색 모델은 이중 단계 훈련 과정을 통해 R2R 데이터셋에서 미세조정된다: 먼저 언어자료 증강 데이터에서, 그 다음 원본 R2R 훈련 분할에서.
• RGB 특징 초기화는 3D 의미 인코더의 출력을 모방함으로써 RGB 브랜치에 적용되어 특징 정렬 및 성능 향상을 향상시킨다.

실험 결과

연구 질문

• RQ1 RGB만을 사용하는 방법과 비교해 자기지도 학습 3D 의미 표현 학습이 시각-언어 탐색 성능을 향상시킬 수 있는가?
• RQ2 3D 의미 특징을 통합함으로써 미사용 환경에서 과적합을 줄이고 일반화 능력을 향상시킬 수 있는가?
• RQ3 밀도 높은 3D 애너테이션 없이도 영역 쿼리 사전 작업 태스크가 효과적으로 3D 의미 인코더를 미리 훈련시킬 수 있는가?
• RQ4 3D 의미 특징과 RGB 특징을 비교했을 때, 탐색 성공률과 내구성 측면에서 어떤 차이가 있는가?
• RQ5 다중 모odal 프레임워크에서 3D 의미 특징과 초기화된 RGB 특징을 융합했을 때 상호 보완적인 이점이 있는가?

주요 결과

• 제안된 방법은 R2R 검증에서 미사용 분할에 대해 68%의 성공률을 기록하고, 테스트에서 미사용 분할에 대해 66%의 성공률을 기록하여, 시각-언어 트랜스포머를 사용하는 대부분의 RGB 기반 방법을 능가한다.
• 3D 의미 특징만을 사용할 경우 검증에서 미사용 분할에 대해 66.8%의 성공률을 기록하며, 이는 표준 RGB 특징을 사용했을 때의 58.1% 성공률보다 뚜렷이 높다.
• 3D 의미 인코더의 출력을 모방하여 RGB 브랜치를 초기화함으로써 성능이 63.3%로 향상되었으며, 이는 3D 특징가 RGB 특징 학습을 이끌 수 있음을 보여준다.
• 초기화된 RGB 특징(RGB*)과 3D 의미 특징을 융합한 결과 67.7%의 성공률을 기록하여 개별 구성 요소를 모두 초월하며, 상호 보완적 이점이 있음을 시사한다.
• 제거 분석 결과 3D 의미 특징이 RGB 특징보다 더 효과적이며, 영역 쿼리 사전 작업 태스크가 효과적인 자기지도 미리 훈련을 가능하게 함을 확인하였다.
• 이중 단계 훈련 과정—먼저 언어자료 증강 데이터에서, 그 다음 R2R에서—는 66.8%의 성공률을 기록하여 데이터 증강 및 미세조정의 효과를 입증한다.