[논문 리뷰] Large-Scale Automatic Labeling of Video Events with Verbs Based on Event-Participant Interaction

Andrei Barbu, Alexander Bridge외 13명|arXiv (Cornell University)|2012. 04. 16.

Human Pose and Action Recognition참고 문헌 13인용 수 4

한 줄 요약

이 논문은 객체 종류, 이미지 특징 또는 신체 자세 정보에 의존하지 않고, 이벤트 참가자의 굵직한 시공간 운동—특히 경계 상자 궤적—만을 사용하여 대규모 자동 비디오 이벤트 레이블링을 위한 방법을 제안한다. 1개의 22개 동사 중 선택하는 작업에서 70% 이상의 정확도를 달성하였고, 1개의 10개 동사 중 선택하는 하위집합에서는 85% 이상의 정확도를 기록하였다. 이는 동사 수준의 이벤트 인식이 복잡한 분류기나 세부 시각적 특징보다는 운동 기반의 언어학적 불변성에 더 의존한다는 것을 보여준다.

ABSTRACT

We present an approach to labeling short video clips with English verbs as event descriptions. A key distinguishing aspect of this work is that it labels videos with verbs that describe the spatiotemporal interaction between event participants, humans and objects interacting with each other, abstracting away all object-class information and fine-grained image characteristics, and relying solely on the coarse-grained motion of the event participants. We apply our approach to a large set of 22 distinct verb classes and a corpus of 2,584 videos, yielding two surprising outcomes. First, a classification accuracy of greater than 70% on a 1-out-of-22 labeling task and greater than 85% on a variety of 1-out-of-10 subsets of this labeling task is independent of the choice of which of two different time-series classifiers we employ. Second, we achieve this level of accuracy using a highly impoverished intermediate representation consisting solely of the bounding boxes of one or two event participants as a function of time. This indicates that successful event recognition depends more on the choice of appropriate features that characterize the linguistic invariants of the event classes than on the particular classifier algorithms.

연구 동기 및 목표

• 동사가 참가자의 거시적 운동을 통해 이벤트 의미를 기술한다는 언어학적 가설을 평가하는 것—객체 정체성이나 시각적 세부 정보와는 독립적으로.
• 이벤트 참가자의 시공간 운동 패턴에만 의존하는 확장 가능한 자동 비디오 레이블링 시스템을 개발하는 것.
• 객체 종류, 이미지 텍스처, 형태, 또는 신체 자세 정보를 사용하지 않고도 높은 정확도의 동사 분류가 가능할지 테스트하는 것.
• 최소한의 특징 표현에서 다양한 시계열 분류기(HMM 및 DTW)의 성능을 비교하는 것.
• 분류 정확도가 분류기 아키텍처보다 특징 선택에 더 의존하는가를 보여주는 것.

제안 방법

• 이 방법은 하나 또는 두 명의 이벤트 참가자에 대한 유일한 입력 표현으로 시간에 따른 경계 상자 시계열을 사용한다.
• 이벤트 역학은 두 가지 시계열 분류기인 은닉 마르코프 모델(HMM)과 동적 시간 왜곡(DTW)을 사용하여 모델링된다.
• 시스템은 22개의 동사 클래스에 대한 강제 선택 과제를 통해 동사 분류를 수행하며, 다섯 개의 랜덤 데이터 분할에 대해 교차 검증을 실시한다.
• 특징은 추적된 참가자 궤적에서 추출되며, 모든 객체 기반 및 이미지 수준의 특징은 추상화된다.
• 이 접근법은 객체 종류, 신체 자세, 저수준 시각적 특징을 명시적으로 기각하여 동사 의미론에서 거시적 운동의 역할을 고립한다.
• 다중 교차 검증 런에 걸쳐 혼동 행렬과 정확도 지표를 계산하여 정확도의 강건성과 일관성을 평가한다.

실험 결과

연구 질문

• RQ1 객체나 이미지 수준의 특징 없이 참가자의 거시적 운동 궤적만으로도 동사 수준의 비디오 이벤트 분류가 가능할 수 있는가?
• RQ2 최소한의 특징 표현 하에서 시계열 분류기 선택(HMM 대비 DTW)이 성능에 상당한 영향을 미치는가?
• RQ3 동사 분류 성능이 특징 선택에 비해 분류기 아키텍처에 얼마나 의존하는가?
• RQ4 특히 1:10 작업에서 동사 클래스의 다양한 하위집합에서 성능은 어떻게 변하는가?
• RQ5 동사가 참가자 간 상호작용을 거시적 운동을 통해 코딩한다는 언어학적 가정이 대규모 컴퓨터 비전 환경에서 성립하는가?

주요 결과

• HMM을 사용할 경우 1:22 동사 레이블링 작업에서 총 분류 정확도가 71.9%를 기록하였고, DTW를 사용할 경우 71.3%를 기록하여 우연의 정확도(4.5%)를 크게 초월하였다.
• 동사 클래스의 여러 1:10 하위집합에서 HMM과 DTW 모두 85% 이상의 정확도를 기록하였으며, 85.1%에서 87.5%의 범위를 보였다.
• 모든 교차 검증 런에서 HMM과 DTW의 성능이 거의 동일하여, 분류기 선택이 결과에 미치는 영향이 미미함을 시사한다.
• 높은 정확도는 경계 상자 궤적만을 사용하여 달성되었으며, 이는 언어학적 불변성이 운동을 통해 충분히 동사 인식에 기여할 수 있음을 시사한다.
• 결과는 동사가 객체 정체성이나 시각적 세부 정보와는 독립적으로 참가자의 거시적 운동을 통해 이벤트 의미론을 코딩한다는 언어학적 가정을 지지한다.
• 객체 종류 정보가 가용하고 동사 클래스와 높은 상관관계가 있음에도 불구하고, 이 방법은 이를 사용하지 않고도 높은 성능를 유지하며, 단지 운동 특징만으로도 충분함을 입증한다.