[논문 리뷰] A Restricted Visual Turing Test for Deep Scene and Event Understanding

H. Jerry Qi, Tianfu Wu외 2명|arXiv (Cornell University)|2015. 12. 06.

Multimodal Machine Learning Applications참고 문헌 35인용 수 13

한 줄 요약

이 논문은 장기적이고 다중 카메라 영상에서의 깊이 있는 장면 및 사건 이해를 위한 제한된 시각적 튜링 테스트(VTT)를 제안한다. 이 테스트는 공간적, 시간적, 인과적 추론이 요구되는 스토리라인 기반 질의를 사용한다. 시스템은 비전 모듈, 지식 기반, 질의 엔진을 통합하여 영상 분석 및 자연어 또는 이진 형식의 질의에 대한 응답을 수행하며, 93.5시간 분량의 영상에서 3,426개의 질의를 포함한 벤치마크에서 비정의 질의에 대해 81%의 정확도를 달성한다.

ABSTRACT

This paper presents a restricted visual Turing test (VTT) for story-line based deep understanding in long-term and multi-camera captured videos. Given a set of videos of a scene (such as a multi-room office, a garden, and a parking lot.) and a sequence of story-line based queries, the task is to provide answers either simply in binary form "true/false" (to a polar query) or in an accurate natural language description (to a non-polar query). Queries, polar or non-polar, consist of view-based queries which can be answered from a particular camera view and scene-centered queries which involves joint inference across different cameras. The story lines are collected to cover spatial, temporal and causal understanding of input videos. The data and queries distinguish our VTT from recently proposed visual question answering in images and video captioning. A vision system is proposed to perform joint video and query parsing which integrates different vision modules, a knowledge base and a query engine. The system provides unified interfaces for different modules so that individual modules can be reconfigured to test a new method. We provide a benchmark dataset and a toolkit for ontology guided story-line query generation which consists of about 93.5 hours videos captured in four different locations and 3,426 queries split into 127 story lines. We also provide a baseline implementation and result analyses.

연구 동기 및 목표

• 장기적이고 다중 카메라 영상에서 공간적, 시간적, 인과적 이해의 통합 평가 프레임워크 부족 문제를 해결하기 위해.
• 이미지 기반 VQA와 영상 캡션을 초월하는 온톨로지 유도 스토리라인 질의를 사용한 제한된 VTT를 개발하기 위해.
• 공간적, 시간적, 인과적 관계를 포함하는 고품질의 구조화된 질의를 생성하기 위한 벤치마크 데이터셋과 툴킷을 구축하기 위해.
• 개별 모듈의 평가를 위해 교체 가능한 구성 요소를 지원하는 모듈식 비전 시스템을 설계하기 위해.
• 응답에 대한 명시적인 중간 추론 추적을 요구하여 비전 시스템에 대한 신뢰를 가능하게 하기 위해.

제안 방법

• 시스템은 다중 카메라 영상 이해를 위한 영상 파싱, 객체 검출, 추적, 재식별, 장면 중심 3D 표현을 통합하는 통합 아키텍처를 사용한다.
• 지식 기반은 장면 중심 표현을 저장하며, 3D 레이아웃, 객체 역할, 공간 관계를 포함하여 카메라 간의 통합 추론을 가능하게 한다.
• 질의 엔진은 술어와 관계를 파싱하여 뷰 기반 질의와 장면 중심 질의를 구분하여 스토리라인 질의를 처리한다.
• 질의는 선택된 온톨로지를 사용하여 품질과 일관성을 확보하며, 커뮤니티 기반의 개방형 질문이 유도하는 노이즈를 방지한다.
• 시스템은 이진(true/false) 형식과 자연어 형식의 응답을 모두 지원하며, 후속 질의의 상호 참조를 위한 객체 정의 질의를 사용한다.
• 툴킷은 제어 가능한 복잡도로 스토리라인을 확장 가능하게 생성하여 개별 모듈의 독립적 평가를 지원한다.

실험 결과

연구 질문

• RQ1 비전 시스템은 장기적이고 다중 카메라 영상에서 장면과 사건에 대한 공간적, 시간적, 인과적 통합 이해를 달성할 수 있는가?
• RQ2 온톨로지 유도 스토리라인 질의를 사용한 제한된 VTT는 전통적인 정확도 지표를 초월하여 깊이 있는 장면 이해 평가에 얼마나 효과적인가?
• RQ3 교체 가능한 구성 요소를 갖춘 모듈식 비전 시스템은 공간적 및 인과적 추론을 포함하는 복잡한 다중 술어 질의를 얼마나 잘 처리할 수 있는가?
• RQ4 기본적인 검출 및 세기 작업 대비 인간-객체 상호작용 및 장면 수준의 관계를 포함하는 추론 작업 간의 성능 격차는 어느 정도인가?
• RQ5 비전 시스템은 해석 가능한 추론 추적을 제공하여 그 응답에 대한 신뢰를 향상시킬 수 있는가?

주요 결과

• 프로토타입 시스템은 비정의 질의에서 81%의 정확도를 달성하였으며, 243개의 객체 정의 질의 중 197개가 정확하게 탐지되었다.
• 질의당 술어 수가 증가할수록 정확도가 감소하였으며, 세 개 이상의 술어를 포함한 질의에서는 오류 전파로 인해 상당히 떨어졌다.
• 검출, 부분-관계, 동작과 같은 기본 시각 작업에서는 양호한 성능을 보였지만, 공간적 추론과 인간-객체 상호작용에서는 어려움을 겪었다.
• 공간적 추론과 인간-객체 간 상호작용을 포함한 질의가 가장 도전적이었으며, 이 분야에 여전히 열린 연구 문제들이 존재함을 시사한다.
• 객체 정의 질의는 상호 지식을 확립하기 위해 사용되며, 실제 탐지 성능을 반영하지 않기 때문에 정확도 계산에서 제외되었다.
• 10대의 워크스테이션 클러스터를 사용해 두 주 동안 1,160개의 질의를 성공적으로 처리하여 대규모 평가에 대한 확장성을 입증했다.