[논문 리뷰] Language Conditioned Spatial Relation Reasoning for 3D Object Grounding

Shizhe Chen, Pierre-Louis Guhur외 3명|arXiv (Cornell University)|2022. 11. 17.

Multimodal Machine Learning Applications참고 문헌 43인용 수 14

한 줄 요약

이 논문은 시각-언어 3D 관계 추론 모델인 ViL3DRel을 제안하며, 트랜스포머에 공간적 자기주의 메커니즘을 통합하여 객체 간 상대 거리와 방향을 명시적으로 모델링함으로써 3D 객체 정위치 성능을 향상시킨다. 이 방법은 지도 학습된 타깃 레이블을 갖는 교사 모델로부터 공간적 추론 지식을 학생 모델로 전이하기 위해 교사-학생 distillation 전략을 사용하며, 실제 점군을 사용하는 학생 모델을 통해 Nr3D, Sr3D, ScanRefer 벤치마크에서 각각 9.3%, 8.3%, 4.47%의 절대 성능 향상을 기록하여 최신 기술 수준을 초월한다.

ABSTRACT

Localizing objects in 3D scenes based on natural language requires understanding and reasoning about spatial relations. In particular, it is often crucial to distinguish similar objects referred by the text, such as "the left most chair" and "a chair next to the window". In this work we propose a language-conditioned transformer model for grounding 3D objects and their spatial relations. To this end, we design a spatial self-attention layer that accounts for relative distances and orientations between objects in input 3D point clouds. Training such a layer with visual and language inputs enables to disambiguate spatial relations and to localize objects referred by the text. To facilitate the cross-modal learning of relations, we further propose a teacher-student approach where the teacher model is first trained using ground-truth object labels, and then helps to train a student model using point cloud inputs. We perform ablation studies showing advantages of our approach. We also demonstrate our model to significantly outperform the state of the art on the challenging Nr3D, Sr3D and ScanRefer 3D object grounding datasets.

연구 동기 및 목표

• 자연어 지시어에서 '가장 왼쪽에 있는' 또는 '가장 가까운'과 같은 공간 관계를 명시적으로 모델링하여 3D 객체 정위치 성능을 향상시키는 것.
• 3D 시나리오-언어 데이터셋의 제한된 양을 해결하기 위해 교사-학생 distillation을 활용하여 교사 모델이 지도 레이블로 학습한 공간적 추론 지식을 학생 모델이 전이하도록 하는 것.
• 3D 객체 간 상대 거리와 방향을 인코딩하는 공간적 자기주의 메커니즘을 트랜스포머 기반 모델에 통합하여 성능을 향상시키는 것.
• 학습된 지도 레이블을 사용하여 교사 모델이 학습하고, 학생 모델이 실제 점군 입력에서 예측을 학습함으로써 노이즈가 많은 점군 특징에 대한 의존도를 줄이는 것.
• 회전 증강과 공간적 및 자기주의의 시그모이드-소프트맥스 융합을 통해 시점에 관계없이 강건한 공간적 추론을 달성하는 것.

제안 방법

• 모든 쌍의 객체 간 상대 거리와 방향을 기반으로 주어진 3D 점군 내 모든 객체 쌍에 대해 주의 점수를 계산하는 새로운 공간적 자기주의 레이어를 도입한다.
• 언어 조건부 및 공간적 추론 간 균형을 맞추기 위해 공간적 주의와 표준 자기주의를 시그모이드-소프트맥스 함수를 사용해 융합한다.
• 교사-학생 distillation 프레임워크를 적용하며, 교사는 지도 레이블을 사용해 정확한 공간적 관계를 학습하고, 학생은 교사의 예측 결과를 기반으로 실제 점군 입력에서 학습한다.
• 학습 중에 시점에 관계없는 공간적 추론 성능 향상을 위해 회전 증강을 적용한다.
• 점군 특징과 텍스트 임베딩을 입력으로 사용하여, 정위치 정확도에 대한 교차 엔트로피 손실을 최적화함으로써 엔드 투 엔드로 모델을 훈련시킨다.
• 모델은 지도 레이블이 있는 점군과 검출된 객체 제안을 모두 사용하는 세 가지 벤치마크(Nr3D, Sr3D, ScanRefer)에서 평가된다.

실험 결과

연구 질문

• RQ1 상대 거리와 방향을 인코딩하는 공간적 자기주의 메커니즘이 언어 조건부 환경에서 3D 객체 정위치 성능을 향상시키는가?
• RQ2 지도 레이블로 학습된 교사 모델에서의 지식 전이가 실제 점군을 입력으로 사용하는 학생 모델의 공간적 추론 성능을 향상시키는가?
• RQ3 제안된 방법이 도전적인 3D 정위치 벤치마크에서 최신 기술 수준의 접근법과 비교해 정확도 면에서 어떻게 성능을 내는가?
• RQ4 회전 증강이 모델의 시점 변화에 대한 강건성 향상에 어느 정도 기여하는가?
• RQ5 제한된 훈련 데이터에도 불구하고 다양한 3D 환경에서 일반화 성능을 보일 수 있는가?

주요 결과

• ViL3DRel은 지도 레이블이 있는 객체 제안을 사용할 경우 Nr3D 데이터셋에서 이전 최신 기술 수준 대비 9.3%의 절대 성능 향상을 기록한다.
• Sr3D 데이터셋에서 동일한 평가 프로토콜 하에 학생 모델은 이전 최신 기술 수준 방법보다 8.3%의 절대 성능 향상을 달성한다.
• ScanRefer 데이터셋에서 동일한 검출된 객체 제안을 사용할 경우 ViL3DRel은 이전 최신 기술 수준 대비 전체 정확도에서 4.47점 향상되었다.
• 제거 분석 결과, 공간적 자기주의 모듈과 교사-학생 distillation 전략이 성능 향상에 크게 기여하는 것으로 확인되었다.
• 2D-3D 정렬이나 추가 2D 이미지에 의존하는 방법보다 일반화 성능이 뛰어나며, 이러한 자료가 항상 가용하지 않은 환경에서도 뛰어난 성능을 보였다.
• 완전한 지도 레이블(지도 레이블이 있는 제안)을 사용한 상한 성능는 검출된 제안 설정과 비교해 12% 이상의 큰 성능 격차를 보이며, 제안 품질의 난이도를 부각시킨다.