[논문 리뷰] Contextual Modeling for 3D Dense Captioning on Point Clouds

Yufeng Zhong, Xu Long외 2명|arXiv (Cornell University)|2022. 10. 08.

Multimodal Machine Learning Applications인용 수 8

한 줄 요약

이 논문은 3D 밀도 캡션에 대해 점군 클러스터링 특징(슈퍼포인트)을 맥락 정보로 통합하여 기술 품질을 향상시키는 새로운 맥락 모델링 프레임워크를 제안한다. 글로벌 맥락 모델링(GCM) 및 로컬 맥락 모델링(LCM) 모듈을 도입함으로써 전체 시점 맥락과 국소적 이웃 관계를 모두 포착하여, ScanRefer 데이터셋에서 54.30% C@0.5IoU의 최신 기술 수준 성능을 달성한다.

ABSTRACT

3D dense captioning, as an emerging vision-language task, aims to identify and locate each object from a set of point clouds and generate a distinctive natural language sentence for describing each located object. However, the existing methods mainly focus on mining inter-object relationship, while ignoring contextual information, especially the non-object details and background environment within the point clouds, thus leading to low-quality descriptions, such as inaccurate relative position information. In this paper, we make the first attempt to utilize the point clouds clustering features as the contextual information to supply the non-object details and background environment of the point clouds and incorporate them into the 3D dense captioning task. We propose two separate modules, namely the Global Context Modeling (GCM) and Local Context Modeling (LCM), in a coarse-to-fine manner to perform the contextual modeling of the point clouds. Specifically, the GCM module captures the inter-object relationship among all objects with global contextual information to obtain more complete scene information of the whole point clouds. The LCM module exploits the influence of the neighboring objects of the target object and local contextual information to enrich the object representations. With such global and local contextual modeling strategies, our proposed model can effectively characterize the object representations and contextual information and thereby generate comprehensive and detailed descriptions of the located objects. Extensive experiments on the ScanRefer and Nr3D datasets demonstrate that our proposed method sets a new record on the 3D dense captioning task, and verify the effectiveness of our raised contextual modeling of point clouds.

연구 동기 및 목표

• 기존 3D 밀도 캡션 방법이 상호 객체 관계에만 집중하고 비객체적 세부 정보 및 배경 맥락을 忽시하는 한계를 해결한다.
• 점군 클러스터링 특징(슈퍼포인트)에서 유래한 맥락 정보를 통합하여 3D 밀도 캡션의 품질과 정확도를 향상시킨다.
• 전체적 맥락과 국소적 맥락을 모두 활용하는 코arse-to-fine 맥락 모델링 전략을 개발하여 객체 표현을 향상시킨다.
• 배경 및 환경 맥락을 통합할 경우 3D 점군 내 객체에 대해 더 포괄적이고 정밀한 기술이 가능하다는 것을 입증한다.

제안 방법

• 후보 객체를 추출하고 점군 샘플링 및 클러스터링을 통해 슈퍼포인트를 생성함으로써 비객체적 세부 정보와 배경 환경을 포괄한다.
• 모든 후보 객체와 슈퍼포인트 간의 관계를 모델링하는 글로벌 맥락 모델링(GCM) 모듈을 제안하여 통합된 시점 맥락을 확보한다.
• 대상 객체의 인접 객체와 슈퍼포인트에 집중하는 로컬 맥락 모델링(LCM) 모듈을 설계하여 국소적 공간적 및 의미적 특징을 풍부하게 한다.
• GCM와 LCM 특징의 융합을 통해 전반적인 시점 이해와 국소적 객체 맥락을 결합함으로써 더 구체적이고 정확한 기술을 생성할 수 있도록 한다.
• GCM 및 LCM 내부에서 메시지 전달 및 어텐션 메커니즘을 활용하여 복잡한 관계와 의존성을 효과적으로 포착한다.
• 대응 학습 및 캡션 손실을 사용하여 엔드 투 엔드 모델을 훈련함으로써 기초화 및 캡션 성능을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 점군 클러스터링 특징(슈퍼포인트)를 맥락 정보로 통합하면 3D 밀도 캡션의 품질이 향상되는가?
• RQ2 전반적인 시점 맥락과 국소적 이웃 맥락을 모두 모델링할 경우 객체 정위치 및 기술 정확도에 어떤 영향을 미치는가?
• RQ3 비객체적 세부 정보와 배경 환경은 얼마나 정밀하고 포괄적인 기술 생성에 기여하는가?
• RQ4 제안된 코arse-to-fine 맥락 모델링 전략(GCM + LCM)은 단지 상호 객체 관계만 모델링하는 방법보다 우수한가?
• RQ5 슈퍼포인트 통합이 유사한 객체가 여러 개인 상황에서 기술의 모호성을 줄일 수 있는가?

주요 결과

• 제안된 방법은 ScanRefer 데이터셋에서 기존 최고 기록인 54.30% C@0.5IoU를 달성하여 현저하게 뛰어난 성능을 보였다.
• 제거 실험 결과 GCM 및 LCM 모듈이 각각 독립적으로 기여하며, 조합 시 성능 향상이 가장 크게 나타났다.
• 슈퍼포인트 통합은 글로벌 맥락 모델링을 향상시켜 GCM에서 오직 객체만 사용할 경우 대비 C@0.5mAP가 2.1% 향상되었다.
• LCM 모듈은 국소적 공간 추론을 향상시켜 '왼쪽에서 두 번째 의자'와 같이 모호한 용어가 아닌 정확한 기술을 가능하게 하였다.
• 정성적 결과에서는 기존 모델이 포착하지 못한 더 세부적인 기술 예를 제시하였으며, 예를 들어 '두 개의 소파 사이에 위치한' 또는 '침대 위에 있는' 등의 기술이 가능하였다.
• Nr3D 데이터셋에 대해서도 일반화 능력이 뛰어나 모든 지표에서 뛰어난 성능을 기록하여 다양한 3D 시점에서의 효과성을 확인하였다.