[논문 리뷰] LanguageRefer: Spatial-Language Model for 3D Visual Grounding

Junha Roh, Karthik Desingh외 2명|arXiv (Cornell University)|2021. 07. 07.

Multimodal Machine Learning Applications참고 문헌 43인용 수 22

한 줄 요약

LanguageRefer는 3D 시각적 기초 작업을 위한 트랜스포머 기반의 공간-언어 모델로, 3D 경계 상자에서 유도된 공간 임베딩과 미세조정된 DistilBERT 임베딩을 융합하여 잡음이 있는 3D 환경에서 참조된 객체를 식별한다. ReferIt3D에서 최신 기술 성능을 달성하였으며, 공간 추론을 인지 노이즈에서 분리함으로써 성능을 향상시켰다. Nr3D에서 48.2%의 정확도를 기록하였고, 보정된 시점(annotation)을 사용할 경우 시점에 의존적인 언어 표현에서 12.7% 향상된 성능을 보였다.

ABSTRACT

For robots to understand human instructions and perform meaningful tasks in the near future, it is important to develop learned models that comprehend referential language to identify common objects in real-world 3D scenes. In this paper, we introduce a spatial-language model for a 3D visual grounding problem. Specifically, given a reconstructed 3D scene in the form of point clouds with 3D bounding boxes of potential object candidates, and a language utterance referring to a target object in the scene, our model successfully identifies the target object from a set of potential candidates. Specifically, LanguageRefer uses a transformer-based architecture that combines spatial embedding from bounding boxes with fine-tuned language embeddings from DistilBert to predict the target object. We show that it performs competitively on visio-linguistic datasets proposed by ReferIt3D. Further, we analyze its spatial reasoning task performance decoupled from perception noise, the accuracy of view-dependent utterances, and viewpoint annotations for potential robotics applications.

연구 동기 및 목표

• 인지 노이즈에서 공간 추론을 분리함으로써 3D 시각적 기초 작업 성능을 향상시키는 모듈러하고 종단 간(end-to-end) 공간-언어 모델을 개발하는 것.
• 시점에 의존적인 언어 표현에서의 시점 모호성이 3D 시각적 기초 작업 성능에 미치는 영향을 조사하는 것.
• 시점에 의존적인 언어 표현에 대해 보정된 시점(annotation)을 도입함으로써 모델의 강인성과 해석 가능성 향상.
• 다른 데이터셋에 대한 일반화 능력 평가 및 참조 언어를 포함한 로봇 응용 분야 잠재력 평가.
• 개별 손실 구성 요소의 기여도와 클래스 레이블 품질이 모델 정확도에 미치는 영향 분석.

제안 방법

• 모델은 언어 표현과 객체 경계 상자에서 유도된 3D 공간 정보를 동시에 인코딩하는 트랜스포머 기반 아키텍처를 사용한다.
• 공간 임베딩은 공간 관계를 표현하기 위해 3D 경계 상자 좌표를 바탕으로 위치 인코딩을 사용하여 유도된다.
• 언어 임베딩은 목표 객체의 자연어 기술을 처리하는 데 사용된 미세조정된 DistilBERT에서 유도된다.
• 공간-언어 모델은 다중 모odal 임베딩을 기반으로 가장 관련성이 높은 객체 후보를 주목함으로써 대상 객체를 예측한다.
• 모듈러한 파이프라인은 인지(객체 클래스 레이블), 공간 임베딩, 언어 임베딩, 공간-언어 추론 모듈을 분리하여 영향력과 해석 가능성 향상.
• 저자들은 인간 검증된 방향 정보를 수집하여 시점에 의존적인 언어 표현에 대한 보정된 시점 annotation을 도입함으로써 학습 및 추론 시 일관된 장면 정렬을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 인지 노이즈에서 공간 추론을 분리할 경우 3D 시각적 기초 작업 성능에 어떤 영향을 미치는가?
• RQ2 시점에 의존적인 언어 표현에서의 시점 모호성이 모델 정확도를 얼마나 떨어뜨리며, 이를 완화할 수 있는가?
• RQ3 실제 3D 환경에서의 지표 클래스 레이블 대비 노이즈가 있는 예측 레이블을 사용할 경우 모델의 성능은 얼마나 효과적인가?
• RQ4 분류, 마스크, 텍스트 등의 다양한 손실 구성 요소가 모델 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 모델은 다른 데이터셋으로 일반화 가능한가? 참조 언어 지시어를 포함한 로봇 응용 분야에서 활용 가능할 수 있는가?

주요 결과

• LanguageRefer는 Nr3D 벤치마크에서 48.2%의 정확도를 기록하여 추가 학습 데이터 없이도 최신 기술 모델을 초월하였다.
• 보정된 시점 annotation을 사용할 경우 시점에 의존적인 언어 표현에서 12.7%의 정확도 향상을 보였으며, 일관된 공간 정렬이 가져온 강력한 성과를 시사한다.
• Sr3D 데이터셋에서 예측된 클래스 레이블을 사용할 경우 40.6%의 정확도를 기록하여 합성적이고 템플릿 기반의 언어에 대한 강인성을 입증하였다.
• 제거 실험(ablation study) 결과 분류 손실이 성능 향상에 기여한 반면, 텍스트 손실은 정확도를 떨어뜨려 최종 모델에서 텍스트 손실 항목을 제거하였다.
• 보정된 방향 정보로 학습한 모델는 전체 테스트 세트에서 50.7%의 정확도를 기록하였으며, 보정 없이 학습한 기준 모델 대비 5.1% 향상된 성능을 보였다.
• 시점에 의존하지 않는 언어 표현에서도 높은 성능(46.4% 정확도)을 유지하여, 시점에 영향을 받지 않는 참조에 대한 강력한 일반화 능력을 입증하였다.