[논문 리뷰] The "something something" video database for learning and evaluating visual common sense

Raghav Goyal, Samira Ebrahimi Kahou외 12명|arXiv (Cornell University)|2017. 06. 13.

Multimodal Machine Learning Applications인용 수 9

한 줄 요약

이 논문은 '어떤 무언가' 비디오 데이터베이스를 소개한다. 이는 174개의 클래스로 구성된 대규모이고 세분화된 비디오 데이터셋으로, 캡션 템플릿을 통해 정의된 10만 개의 비디오를 포함하며, 딥 러닝 모델의 시각적 공통 경험을 훈련하고 평가하기 위해 설계되었다. 이 데이터셋은 행동 속의 미묘한 물리적 및 인과적 관계를 이해하도록 모델을 도전하게 하며, 전체 174개 클래스 작업에서 상위 1위 정확도 88.5%와 상위 5위 정확도 70.3%를 기록하여 기존 아키텍처에 비해 높은 난이도를 보여준다.

ABSTRACT

Neural networks trained on datasets such as ImageNet have led to major advances in visual object classification. One obstacle that prevents networks from reasoning more deeply about complex scenes and situations, and from integrating visual knowledge with natural language, like humans do, is their lack of common sense knowledge about the physical world. Videos, unlike still images, contain a wealth of detailed information about the physical world. However, most labelled video datasets represent high-level concepts rather than detailed physical aspects about actions and scenes. In this work, we describe our ongoing collection of the "something-something" database of video prediction tasks whose solutions require a common sense understanding of the depicted situation. The database currently contains more than 100,000 videos across 174 classes, which are defined as caption-templates. We also describe the challenges in crowd-sourcing this data at scale.

연구 동기 및 목표

• 정지 영상에서 훈련된 딥 러닝 모델의 시각적 공통 경험 부족 문제를 해결하기 위해 물리 세계 이해에 기반한 비디오 데이터셋을 구축하기 위해.
• 물체의 기능, 인과성 및 물리적 성질에 대한 추론이 필요한 행동과 물체 상호작용의 세분화된 차이를 학습할 수 있도록 모델을 가능하게 하기 위해.
• 캡션 템플릿을 사용하여 동적 장면에서 인간 수준의 미묘한 시각적 추론을 포착하는 확장 가능한 커뮤니티 기반 데이터셋을 제공하기 위해.
• 표준 행동 인식을 초월한 시각적 공통 경험 작업에서 딥 러닝 모델의 성능을 평가하기 위한 벤치마크 제공하기 위해.

제안 방법

• 데이터셋은 커뮤니티 기반으로 구축되며, 작업자들이 '무언가를 들어 올리는 것' 또는 '무언가를 따르는 것'과 같은 캡션 템플릿을 사용해 행동을 녹화한다.
• 각 비디오는 [무언가]라는 플레이스홀더로 레이블이 지정되며, 플레이스홀더의 정답 입력은 작업자로부터 수집되어 제로샷 일반화 벤치마크를 형성한다.
• 데이터셋은 174개의 행동 클래스를 포함하며, 10만 개 이상의 비디오를 포함하고 있으며, 시각적 신호와 물리적 추론을 바탕으로 누락된 물체를 추론할 수 있는 능력을 테스트하기 위해 설계되었다.
• 모델은 3D-CNN, 2D-CNN 및 하이브리드 2D+3D-CNN 아키텍처를 사용하여 훈련 및 평가되며, 겹치지 않는 및 겹치는 비디오 클립에서 특징을 추출한다.
• 훈련은 Sports-1M에서 사전 훈련된 3D-CNN 모델의 프레임 수준 특징를 사용하며, 패딩된 프레임에 대해 마스킹을 적용하여 '어떤 무언가' 데이터셋에서 미세조정한다.
• 평가에서는 10개 및 40개 클래스의 서브셋을 사용하며, 다양한 네트워크 아키텍처와 특징 융합 전략을 비교하는 분석 연구를 수행한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 물체 분류를 초월하여 물리적 및 인과적 관계를 포착하는 비디오 데이터로부터 시각적 공통 경험을 학습할 수 있는가?
• RQ2 물체의 성질, 기능 및 운동 역학에 대한 이해가 필요한 세분화된 행동 인식 작업에서 모델의 성능는 어떠한가?
• RQ3 캡션 템플릿 기반의 비디오 데이터셋은 표준 행동 인식 벤치마크를 초월하여 제로샷 일반화 및 추론 능력을 얼마나 향상시키는가?
• RQ4 아키텍처 선택(예: 2D 대비 3D-CNN, 특징 융합)이 시각적 공통 경험 작업 성능에 어떤 영향을 미치는가?

주요 결과

• 전체 174개 클래스 데이터셋에서 최고 성능을 보인 3D-CNN 모델은 상위 1위 정확도 88.5%와 상위 5위 정확도 70.3%를 기록하여 기존 아키텍처에 비해 높은 난이도를 보여주었다.
• 10개 클래스 서브셋 실험에서는 심지어 단순화된 클래스 조건에서도 모델이 미묘한 차이를 구분하는 데 어려움을 겪었으며, 여러 경우에서 상위 2위 성능이 90% 이하에 머물렀다.
• 40개 클래스 서브셋은 더 큰 훈련 세트에도 불구하고 성능이 크게 떨어져 난이도가 상당히 증가한 것으로 나타나 데이터셋의 복잡성을 입증했다.
• 2D+3D-CNN 융합 모델은 개별 2D 및 3D 모델보다 뛰어난 성능을 보였으며, 공간적 및 시간적 특징을 융합함으로써 시각적 공통 경험에 대한 추론 능력 향상이 가능함을 시사했다.
• 강력한 베이스라인을 사용한 경우에도 오류율이 높게 유지되어 현재 모델들이 여전히 물리적 인과관계 및 기능에 대한 견고한 이해를 부족하게 하고 있음을 시사했다.
• 대조적인 예시와 템플릿 기반 레이블링을 포함한 데이터셋 설계가 표준 인식 모델을 도전하는 세밀한 시각적 차이를 성공적으로 포착했다.