[논문 리뷰] Visual Graphs from Motion (VGfM): Scene understanding with object geometry reasoning

Stuart James, Alessio Del Bue|arXiv (Cornell University)|2018. 07. 16.

Multimodal Machine Learning Applications참고 문헌 29인용 수 3

한 줄 요약

이 논문은 영상 시퀀스에서 다중시점 기하학을 활용하여 3D 객체 간 관계를 추론하고 정확한 시나리오 그래프를 구성하는 Visual Graphs from Motion (VGfM)를 제안한다. RNN 기반 프레임워크를 통해 기하학적 특징과 시각적 특징을 융합함으로써, 복잡한 공간 배열에서의 시나리오 이해를 향상시키며, 새로 제작된 다중시점 3D 시나리오 그래프 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent approaches on visual scene understanding attempt to build a scene graph -- a computational representation of objects and their pairwise relationships. Such rich semantic representation is very appealing, yet difficult to obtain from a single image, especially when considering complex spatial arrangements in the scene. Differently, an image sequence conveys useful information using the multi-view geometric relations arising from camera motion. Indeed, in such cases, object relationships are naturally related to the 3D scene structure. To this end, this paper proposes a system that first computes the geometrical location of objects in a generic scene and then efficiently constructs scene graphs from video by embedding such geometrical reasoning. Such compelling representation is obtained using a new model where geometric and visual features are merged using an RNN framework. We report results on a dataset we created for the task of 3D scene graph generation in multiple views.

연구 동기 및 목표

• 단일 이미지에서 복잡한 공간 배열에서 정확하고 의미적으로 풍부한 시나리오 그래프를 구성하는 데 도전하는 것.
• 영상 시퀀스에서의 다중시점 기하학적 관계를 활용하여 3D 시나리오 구조와 객체 간 관계를 추론하는 것.
• 기하학적 추론과 시각적 특징을 융합하여 향상된 시나리오 이해를 위한 통합 프레임워크를 개발하는 것.
• 미래 연구를 지원하기 위해 다중시점 3D 시나리오 그래프 생성을 위한 새로운 벤치마크 데이터셋을 구축하고 공개하는 것.

제안 방법

• 시스템은 영상 입력에서 다중시점 기하학을 활용하여 장면 내 객체의 3D 기하학적 위치를 먼저 추정한다.
• 프레임 간 시각적 특징과 기하학적 제약 조건을 함께 모델링하기 위해 RNN 기반 아키텍처를 사용한다.
• 카메라 운동과 3D 재구성에서 유도된 객체 간 기하학적 관계를 통해 공간 추론이 가능하다.
• 프레임에서 특징을 추출하고 기하학적 임베딩과 융합하여 시나리오 그래프 구성의 정보를 풍부하게 한다.
• 모델은 3D 공간 구조에 기반한 객체 식별, 속성 및 쌍방향 관계 예측을 통해 시나리오 그래프를 생성한다.
• 다중 시점에서의 3D 시나리오 그래프 생성을 평가하기 위해 새로운 데이터셋을 수집하고 주석을 부여하였다.

실험 결과

연구 질문

• RQ1 단일 이미지 방법과 비교해 복수의 시점 영상 시퀀스가 시나리오 그래프 구성의 정확도를 향상시키는가?
• RQ2 카메라 운동에서 유도된 기하학적 추론이 객체 간 공간 관계 모델링에 얼마나 효과적인가?
• RQ3 RNN을 통한 기하학적 및 시각적 특징 융합이 복잡한 장면에서 시나리오 그래프 품질을 얼마나 향상시키는가?
• RQ4 제안된 방법이 다양한 3D 시나리오 구성과 객체 배치에 대해 얼마나 일반화되는가?

주요 결과

• 제안된 VGfM 프레임워크는 새로 제작된 다중시점 3D 시나리오 그래프 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• RNN을 통한 기하학적 및 시각적 특징 융합은 시각적 특징만을 사용할 경우보다 더 정확하고 일관된 시나리오 그래프 예측을 가능하게 한다.
• 다중시점 기하학의 사용은 특히 가림되거나 불명확하게 위치한 객체에 대해 공간 관계 모델링을 크게 향상시킨다.
• 밀도 높은 객체 배열을 포함한 복잡한 장면에서도 강건성을 보이며, 기준 단일시점 접근 방식을 능가한다.