[논문 리뷰] Generating Visual Spatial Description via Holistic 3D Scene Understanding

Yu Zhao, Fei Hao외 5명|arXiv (Cornell University)|2023. 05. 19.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 통합적인 3D 장면 이해를 활용하여 공간 추론 능력을 향상시키는 시각적 공간 기술(VSD)를 위한 새로운 프레임워크를 제안한다. 외부 3D 장면 특징에서 목표 물체 중심의 3D 공간 장면 그래프(Go3D-S²G)를 구축하고, 장면 부분 그래프 선택 기반 기반으로 공간적으로 다양한 기술을 생성하여 기존의 기준보다 뛰어나게 성능을 향상시켰다. 특히 레이아웃 겹침 또는 비정상적인 자세를 가진 물체와 같은 복잡한 케이스에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

Visual spatial description (VSD) aims to generate texts that describe the spatial relations of the given objects within images. Existing VSD work merely models the 2D geometrical vision features, thus inevitably falling prey to the problem of skewed spatial understanding of target objects. In this work, we investigate the incorporation of 3D scene features for VSD. With an external 3D scene extractor, we obtain the 3D objects and scene features for input images, based on which we construct a target object-centered 3D spatial scene graph (Go3D-S2G), such that we model the spatial semantics of target objects within the holistic 3D scenes. Besides, we propose a scene subgraph selecting mechanism, sampling topologically-diverse subgraphs from Go3D-S2G, where the diverse local structure features are navigated to yield spatially-diversified text generation. Experimental results on two VSD datasets demonstrate that our framework outperforms the baselines significantly, especially improving on the cases with complex visual spatial relations. Meanwhile, our method can produce more spatially-diversified generation. Code is available at https://github.com/zhaoyucs/VSD.

연구 동기 및 목표

• 기존의 VSD 방법이 2D 시각적 특징에만 의존하여 공간 이해가 왜곡되는 데 대한 한계를 해결한다.
• 단일 RGB 이미지에서 유도된 통합적인 3D 장면 특징을 통합하여 VSD에서 공간 의미론적 추론 능력을 향상시킨다.
• 목표 물체 주변의 다양한 국소 장면 구조를 모델링하여 공간적으로 다양한 텍스트 생성을 가능하게 한다.
• 외부 3D 장면 추출기의 품질이 VSD 성능에 미치는 영향, 특히 도메인 이동 상황에서의 영향을 조사한다.
• 3D 장면 모델링이 은폐, 시각적 오해와 같은 복잡한 공간 관계에서 성능 향상에 기여하는지 확인한다.

제안 방법

• 입력된 단일 RGB 이미지에서 외부 3D 장면 추출기를 활용하여 3D 물체, 레이아웃, 위치, 크기 및 시각적 특징을 생성한다.
• 3D 공간 내 물체 간의 공간 관계를 인코딩하기 위해 목표 물체 중심의 3D 공간 장면 그래프(Go3D-S²G)를 구축한다.
• Go3D-S²G의 공간 의미 표현을 학습하기 위해 목표 물체 중심의 그래프 컨볼루션 네트워크(OcGCN)를 적용한다.
• Go3D-S²G에서 위상적으로 다양한 부분 그래프를 샘플링하는 장면 부분 그래프 선택(S³) 기반 기반을 설계하여 다양한 기술 생성을 유도한다.
• 선택된 부분 그래프를 바탕으로 프롬프트 텍스트를 생성하여 초점을 맞춘 물체와 그들의 원형 방향을 정렬한다.
• 프롬프트, 이미지 및 3D 장면 특징을 시각-언어 사전 학습 모델(VL-PTM)에 통합하여 엔드 투 엔드 VSD 생성을 수행한다.

실험 결과

연구 질문

• RQ1 2D 시각적 특징을 넘어서 3D 장면 특징을 통합함으로써 시각적 공간 기술에서 공간 추론 능력이 향상되는가?
• RQ2 통합적인 3D 장면 구조를 모델링하면 공간적으로 다양한 기술 생성에 어떻게 기여하는가?
• RQ3 외부 3D 장면 추출기의 품질과 도메인 일치성이 VSD 성능에 미치는 영향은 무엇인가?
• RQ4 제안된 S³ 기반 기반은 다양한 국소 장면 위상 구조를 탐색하여 공간적으로 다양한 기술을 효과적으로 생성하는가?
• RQ5 이 프레임워크는 물체 겹침 또는 비정상적인 자세와 같은 복잡한 공간 관계에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 프레임워크는 두 개의 VSD 데이터셋에서 기존 기준보다 뚜렷한 성능 향상을 보였으며, 특히 레이아웃 겹침 또는 비정상적인 물체 자세를 포함한 복잡한 케이스에서 두각을 나타냈다.
• VSD-v2 데이터셋에서 뛰어난 성능을 기록했으며, 인간에게 친화적이고 복잡한 공간 기술에서 뚜렷한 성능 향상을 보였다.
• 장면 부분 그래프 선택(S³) 기반 기반은 다양한 국소 장면 위상 구조를 탐색함으로써 공간적으로 다양한 텍스트 생성을 성공적으로 촉진했다.
• 도메인 이동에 대한 강건성을 보였으며, 외부 장면에서는 3D 추출기의 학습 도메인(실내)과의 불일치로 성능 저하가 있었지만 여전히 기준보다 뛰어난 성능을 보였다.
• 외부 3D 장면 추출기의 품질은 핵심 요소였으며, 실내 이미지(내부 도메인)에서는 성능 향상이 뚜렷했고, 향후 더 나은 3D 추출기를 사용할 경우 잠재력이 매우 높다는 것을 시사했다.
• 제거 실험 결과, Go3D-S²G 구축과 S³ 기반 기반 모두 모델 성능 향상에 기여하는 중요한 요소임을 확인했다.