[논문 리뷰] Comprehensive Visual Question Answering on Point Clouds through Compositional Scene Manipulation

Yan Xu, Zhihao Yuan외 5명|arXiv (Cornell University)|2021. 12. 22.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 3D 시각 질문 응답(VQA-3D) 데이터셋인 CLEVR3D를 소개한다. 이 데이터셋은 171,000개의 질문을 포함하며, 8,771개의 실제 및 증강된 3D 시나리오에서 유래되었으며, 3D 시나리오 그래프 기반 질문 엔진과 조합적 시나리오 조작을 통해 공감각에 의존하지 않는 추론을 가능하게 한다. 제안된 TransVQA3D 프레임워크는 VQA-3D와 시나리오 그래프 생성을 동시에 학습하여, 다중모odal 어텐션과 시나리오 그래프 인식 감독을 활용해 최신 기준 성능을 달성한다.

ABSTRACT

Visual Question Answering on 3D Point Cloud (VQA-3D) is an emerging yet challenging field that aims at answering various types of textual questions given an entire point cloud scene. To tackle this problem, we propose the CLEVR3D, a large-scale VQA-3D dataset consisting of 171K questions from 8,771 3D scenes. Specifically, we develop a question engine leveraging 3D scene graph structures to generate diverse reasoning questions, covering the questions of objects' attributes (i.e., size, color, and material) and their spatial relationships. Through such a manner, we initially generated 44K questions from 1,333 real-world scenes. Moreover, a more challenging setup is proposed to remove the confounding bias and adjust the context from a common-sense layout. Such a setup requires the network to achieve comprehensive visual understanding when the 3D scene is different from the general co-occurrence context (e.g., chairs always exist with tables). To this end, we further introduce the compositional scene manipulation strategy and generate 127K questions from 7,438 augmented 3D scenes, which can improve VQA-3D models for real-world comprehension. Built upon the proposed dataset, we baseline several VQA-3D models, where experimental results verify that the CLEVR3D can significantly boost other 3D scene understanding tasks. Our code and dataset will be made publicly available at https://github.com/yanx27/CLEVR3D.

연구 동기 및 목표

• 복잡한 추론이 가능한 대규모, 다양한, 편향 없는 3D VQA 데이터셋의 부족을 해결하기 위해.
• 조합적 시나리오 조작을 통해 공감각에 의존하지 않는 설정을 도입하여 VQA-3D 모델의 부적절한 상관관계를 줄이기 위해.
• 객체 속성, 공간 관계, 카운팅 및 비교와 같은 추론 유형에 대한 질문을 생성하여 종합적인 시각 이해를 가능하게 하기 위해.
• VQA-3D와 3D 시나리오 그래프 생성을 동시에 최적화하는 통합 프레임워크를 개발하여 추론 능력과 강건성을 향상시키기 위해.
• 다양한 후행 작업에서 3D 시나리오 이해 능력을 향상시키는 벤치마크를 제공하기 위해.

제안 방법

• 3D 의미적 시나리오 그래프 기반의 질문 엔진을 설계하여, 1,333개의 실제 3D 시나리오에서 다양하고 추론 중심의 질문 44,000개를 생성하였다. 이는 색상, 크기, 재질 등의 속성과 공간 관계를 포함한다.
• 조합적 시나리오 조작(CSM)을 도입하여 객체 간 관계와 속성을 재할당함으로써 시나리오 그래프를 변경하고, 7,438개의 증강된 시나리오에서 127,000개의 질문을 생성하여 공감각 전제를 제거한다.
• TransVQA3D 프레임워크는 점군 특징과 텍스트 질문 간의 정렬을 위해 교차모달 트랜스포머(CMT)를 사용하고, 명시적인 관계 감독을 통합하기 위해 시나리오 그래프 어텐션 어댑터(SGAA)를 활용한다.
• 모델은 VQA-3D와 3D 시나리오 그래프 생성을 동시에 최적화하며, 객체 분류와 술어 예측을 위한 별도의 헤드 브랜치를 사용하고, 상위-k 재현율과 정확도 지표를 적용한다.
• SGAA 모듈은 노드 수준 어텐션과 교차모달 어텐션(CMA)을 결합한 쌍둥이 어텐션(TA)을 포함하여, 시각적 및 언어적 모odal 간의 기능 상호작용을 향상시킨다.
• CMT에 위치 인코딩을 적용하여 공간적 및 순차적 구조를 유지함으로써 성능 향상이 뚜렷하게 나타났으며, 이는 분석 실험에서 입증되었다.

실험 결과

연구 질문

• RQ1 3D 시나리오 그래프 기반 질문 엔진은 실제 3D 시나리오에서 속성과 공간 관계를 포함한 다양한 추론 중심 질문을 생성할 수 있는가?
• RQ2 조합적 시나리오 조작은 VQA-3D 모델이 부적절한 공감각적 편향에 의존하는 정도를 얼마나 효과적으로 줄이는가?
• RQ3 VQA-3D와 3D 시나리오 그래프 생성의 공동 학습이 추론 성능과 강건성에 얼마나 기여하는가?
• RQ4 SGAA 모듈을 통한 명시적 관계 감독이 VQA-3D 및 시나리오 그래프 예측 정확도 향상에 기여하는 정도는 어떠한가?
• RQ5 위치 인코딩 및 교차모달 어텐션과 같은 아키텍처 구성 요소가 CMT의 3D VQA 성능에 미치는 영향은 어떠한가?

주요 결과

• CLEVR3D 데이터셋은 8,771개의 시나리오에서 유래한 총 171,000개의 질문을 포함하며, 이 중 44,000개는 실제 3D 시나리오에서, 127,000개는 조합적 조작을 통해 공감각에 의존하지 않는 증강된 시나리오에서 유래되었다.
• TransVQA3D는 VQA 작업만으로 훈련된 경우 VQA-3D에서 전체 정확도 39.7%를 달성하였으며, 객체 분류 감독을 추가하면 42.7%로 향상되었고, SGAA 모듈을 통한 전체 시나리오 그래프 감독을 적용하면 44.7%로 상승하였다.
• 분석 실험에서 언어 브랜치를 제거하면 시나리오 그래프 예측 성능이 약 5% 저하됨을 확인하여, VQA-3D와 시나리오 그래프 추론 간 상호 강화 효과를 입증하였다.
• CMT에 위치 인코딩을 적용한 경우, 이를 사용하지 않은 모델 대비 전체 정확도 저하율이 3% 감소하고, ClassAvg 저하율은 6% 감소하여, 교차모달 상호작용 모델링에서의 핵심적 역할을 입증하였다.
• SGAA 모듈의 쌍둥이 어텐션(TA) 구성 요소는 VQA-3D 및 시나리오 그래프 예측 모두에 뚜렷한 향상 효과를 보였고, 교차모달 어텐션(CMA)은 주로 VQA-3D에 2%의 성능 향상을 가져다주었다.
• 모델은 시나리오 그래프 분석에서 최신 기준 성능을 달성하였으며, 특히 술어(관계) 예측에서 뚜렷한 향상이 있었고, 상위-k 재현율 지표에서도 유의미한 개선이 관찰되었다.