[논문 리뷰] EDA: Explicit Text-Decoupling and Dense Alignment for 3D Visual Grounding

Yanmin Wu, Xinhua Cheng외 3명|arXiv (Cornell University)|2022. 09. 29.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 3D 시각적 기반을 위한 새로운 프레임워크인 EDA를 제안한다. EDA는 문장을 속성, 관계, 대명사 등의 의미적 구성요소로 명시적으로 분리하고, 위치 및 의미적 정렬 손실을 통해 이러한 구성요소와 3D 포인트 클러스터 객체 간의 조밀한 정렬을 강제한다. 이 방법은 ScanRefer 및 SR3D/NR3D에서 최신 기준 성능을 달성하며, 객체 이름이 없는 새로운 과제인 '객체 이름 없이 기반하기'에서 절대적 리더십을 보이며, 객체 카테고리에 의존하지 않는 보다 강력하고 세밀한 시각-언어 이해 능력을 입증한다.

ABSTRACT

3D visual grounding aims to find the object within point clouds mentioned by free-form natural language descriptions with rich semantic cues. However, existing methods either extract the sentence-level features coupling all words or focus more on object names, which would lose the word-level information or neglect other attributes. To alleviate these issues, we present EDA that Explicitly Decouples the textual attributes in a sentence and conducts Dense Alignment between such fine-grained language and point cloud objects. Specifically, we first propose a text decoupling module to produce textual features for every semantic component. Then, we design two losses to supervise the dense matching between two modalities: position alignment loss and semantic alignment loss. On top of that, we further introduce a new visual grounding task, locating objects without object names, which can thoroughly evaluate the model's dense alignment capacity. Through experiments, we achieve state-of-the-art performance on two widely-adopted 3D visual grounding datasets, ScanRefer and SR3D/NR3D, and obtain absolute leadership on our newly-proposed task. The source code is available at https://github.com/yanmin-wu/EDA.

연구 동기 및 목표

• 기존 3D 시각적 기반 방법에서 암시적으로 모든 단어를 하나의 문장 수준 특징으로 결합함으로써 발생하는 균형 이상과 모호함 문제를 해결하기 위해.
• 속성, 관계, 대명사와 같은 언어적 구성요소를 분리함으로써 객체 이름에 대한 인식 편향을 줄이기 위해.
• 명시적 지도를 통해 텍스트와 3D 포인트 클러스터 객체 간의 세밀한 구성요소 수준 정렬을 가능하게 하기 위해.
• 모델의 강건성과 일반화 능력을 철저히 평가하기 위해 새로운 벤치마크 과제인 '객체 이름 없이 기반하기'를 제안하기 위해.
• 모델이 카테고리 수준의 단서에 의존하지 않고도 속성과 공간적 관계만으로도 정확하게 객체를 국소화할 수 있음을 입증하기 위해.

제안 방법

• 텍스트 분리 모듈이 입력 문장을 주 객체, 속성, 관계, 대명사, 보조 객체 등으로 분리한다.
• 두 가지 지도 손실이 도입된다: 예측된 경계 상자와 진짜값 간의 정렬을 위한 위치 정렬 손실, 그리고 구성요소 수준에서 텍스트 및 시각적 특징 간의 정렬을 위한 의미 정렬 손실.
• 모델은 각 분리된 텍스트 구성요소와 후보 3D 객체 간에 조밀한 매칭을 수행하며, 전체 유사도가 가장 높은 객체를 선택한다.
• 교차 어텐션 기반 기법과 대비 학습을 사용하여 특징 정렬을 향상시키기 위해 엔드 투 엔드로 학습된다.
• 객체 이름을 '객체'로 대체하여, 도전적인 제로샷 유사 설정을 만드는 새로운 평가 프로토콜이 도입된다.
• 모델은 재학습 없이도 표준 3D VG 벤치마크와 새로운 VG-w/o-ON 과제 모두에서 평가된다.

실험 결과

연구 질문

• RQ1 언어적 구성요소의 명시적 분리가 객체 이름에 대한 인식 편향을 줄임으로써 3D 시각적 기반 성능 향상에 기여하는가?
• RQ2 텍스트와 3D 객체 간의 조밀한 구성요소 수준 정렬이 문장 수준 특징 융합보다 더 높은 국소화 정확도를 제공하는가?
• RQ3 객체 이름이 없을 경우 속성과 공간적 관계만으로도 모델이 강건하게 기반을 할 수 있는가?
• RQ4 객체 이름이 없는 상황에서 다양한 텍스트 구성요소(예: 속성, 관계)가 기반 성능에 어떤 기여를 하는가?
• RQ5 제안된 방법이 표준 벤치마크를 초월하여 더 도전적이고 현실적인 언어 기반 설명에 대해 얼마나 잘 일반화되는가?

주요 결과

• EDA는 ScanRefer 및 SR3D/NR3D에서 최신 기준 성능을 달성하였으며, IoU 0.25일 때 54.6%, IoU 0.5일 때 42.3%의 정확도를 기록하였다.
• 새로운 VG-w/o-ON 과제에서 EDA는 IoU 0.25일 때 26.5%, IoU 0.5일 때 21.2%의 정확도를 기록하였으며, 모든 백본 모델보다 10퍼센트 이상 높은 성능을 보였다.
• VG-w/o-ON 설정에서 텍스트 구성요소를 추가함으로써 얻는 성능 향상은 더 두드러지며, 특히 공간적 관계가 강력한 국소화 신호를 제공함을 확인하였다.
• 절단 실험 결과 모든 분리된 구성요소가 성능 향상에 기여하며, 특히 이름이 없는 설정에서 관계 구성요소가 가장 큰 영향을 미침을 확인하였다.
• 정성적 결과에서는 EDA가 객체 이름을 모른다고 해도 정확하게 객체를 국소화할 수 있는 반면, BUTD-DETR와 같은 백본 모델은 이 설정에서 치명적인 실패를 겪는다.
• 복잡한 기술적 설명(속성과 관계를 모두 포함)에 대해서도 모델의 일반화 능력이 뛰어나며, 이러한 상황에서 애매모호함을 다루기 어려운 백본 모델보다 뛰어난 성능을 보였다.