[논문 리뷰] Free-form Description Guided 3D Visual Graph Network for Object Grounding in Point Cloud

Mingtao Feng, Zhen Li외 7명|arXiv (Cornell University)|2021. 03. 30.

Multimodal Machine Learning Applications인용 수 9

한 줄 요약

이 논문은 자유형 서술어를 기반으로 하는 3D 시각적 그래프 네트워크를 제안하여, 복잡한 언어적 구조와 3D 장면 관계를 모델링함으로써 포인트 클라우드 내 3D 객체 지목 성능을 향상시킨다. 맥락 인식 문장 표현을 위한 언어 장면 그래프, 시각적 특징을 정밀화하기 위한 다중 수준 3D 제안 관계 그래프, 그리고 글로벌 맥락 인코딩을 위한 서술어 지도형 3D 시각적 그래프를 도입하여, ScanRefer 및 Nr3D 벤치마크에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

3D object grounding aims to locate the most relevant target object in a raw point cloud scene based on a free-form language description. Understanding complex and diverse descriptions, and lifting them directly to a point cloud is a new and challenging topic due to the irregular and sparse nature of point clouds. There are three main challenges in 3D object grounding: to find the main focus in the complex and diverse description; to understand the point cloud scene; and to locate the target object. In this paper, we address all three challenges. Firstly, we propose a language scene graph module to capture the rich structure and long-distance phrase correlations. Secondly, we introduce a multi-level 3D proposal relation graph module to extract the object-object and object-scene co-occurrence relationships, and strengthen the visual features of the initial proposals. Lastly, we develop a description guided 3D visual graph module to encode global contexts of phrases and proposals by a nodes matching strategy. Extensive experiments on challenging benchmark datasets (ScanRefer and Nr3D) show that our algorithm outperforms existing state-of-the-art. Our code is available at https://github.com/PNXD/FFL-3DOG.

연구 동기 및 목표

• 복잡한 자유형 자연어 서술어를 사용하여 포인트 클라우드 내 객체 지목 문제에 도전한다.
• 다양하고 다중 문장으로 구성된 서술어 내 장거리 의존성과 구조적 관계를 모델링한다.
• 객체-객체 및 객체-장면 공존 관계를 활용하여 굵은 3D 객체 제안의 시각적 특징 표현을 향상시킨다.
• 지시어 기반 그래프 학습을 통해 언어적 표현과 3D 시각적 제안 간의 교차 모odal 정렬을 향상시킨다.
• 복잡한 공간적 및 의미적 관계를 가진 혼잡한 3D 장면에서 더 정확하고 강건한 객체 국지화를 달성한다.

제안 방법

• 자유형 서술어를 명사구, 대명사, 관계어구로 분석하여 언어 장면 그래프를 구성하고, 메시지 전파를 통해 맥락 인식 문장 표현을 학습한다.
• 객체-객체 및 객체-장면 공존 관계를 사용하여 다중 수준 3D 제안 관계 그래프를 구축하고, VoteNet 기반 제안에서 유도된 초기 시각적 특징을 정밀화한다.
• 정밀화된 제안을 기반으로 서술어 지도형 3D 시각적 그래프를 구성하며, 노드는 명사구와 일치하는 제안 인스턴스를 나타내고, 엣지는 제안 간 관계를 인코딩한다.
• 3D 시각적 그래프의 노드를 언어 장면 그래프의 노드와 일치 전략을 통해 매칭하고, 매칭 점수를 융합하여 최종 지목 예측을 도출한다.
• 언어 및 시각 그래프에서 메시지 전파를 사용하여 노드 간 맥락 정보를 전파함으로써 표현 학습을 향상시킨다.
• 교차 어텐션 메커니즘을 사용하여 언어 및 시각적 특징을 정렬하고, IoU 기반 지목 정확도를 최적화함으로써 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 다중 절과 공간 관계를 포함한 복잡한 장문의 자연어 서술어를 효과적으로 3D 객체 지목에 모델링할 수 있는가?
• RQ2 3D 장면 내 객체-객체 및 객체-장면 공존 관계는 초도 3D 객체 제안의 품질을 어느 정도 향상시킬 수 있는가?
• RQ3 언어적 및 시각적 구조를 모두 모델링하는 그래프 기반 접근 방식이 3D 지목에서 언어와 시각 임베딩의 통합 방법을 능가할 수 있는가?
• RQ4 언어 지도형 제안 정제 및 개선 전략이 모호하거나 혼잡한 3D 장면에서 성능에 어떤 영향을 미치는가?
• RQ5 맥락 인식형 구조적 표현은 ScanRefer 및 Nr3D와 같은 도전적인 벤치마크에서 지목 정확도 향상에 기여하는가?

주요 결과

• 제안된 방법은 ScanRefer 벤치마크에서 IoU 임계값 0.5일 때 기존 대비 7.5% 높은 정확도를 달성하여 뚜렷한 성능 향상을 입증한다.
• Nr3D 데이터셋에서 ReferIt3D 대비 6.1% 높은 정확도와 InstanceRefer 대비 2.9% 높은 정확도를 기록하여 복잡한 장면으로의 일반화 능력이 뛰어나다는 것을 보여준다.
• 다양한 객체 클래스가 포함된 장면에서 IoU 0.5 기준 정확도가 2.8% 향상되어 복잡한 공간 관계 처리 능력이 뛰어나다는 것을 입증한다.
• 'Unique'(유일한 경우)에 약 1.5%의 정확도 향상, 'Multiple'(다중 경우)에 약 2.8%의 정확도 향상으로, 모호하거나 혼잡한 장면에서의 처리 능력 향상이 뚜렷하다.
• 정성적 결과는 모델이 공간 관계와 다중 참조를 포함한 복잡한 서술어를 정확히 국지화하는 데 성공하고, 기준 방법은 모호한 경우에서 실패함을 보여준다.
• 시각화 결과는 언어 장면 그래프가 관련 3D 제안과 일치하고, 3D 시각적 그래프가 언어 맥락에 기반해 중복된 제안을 효과적으로 정제하고 개선함을 확인한다.