[논문 리뷰] Asynchronous Temporal Fields for Action Recognition

Gunnar A. Sigurdsson, Santosh Divvala외 2명|arXiv (Cornell University)|2016. 12. 19.

Human Pose and Action Recognition참고 문헌 57인용 수 9

한 줄 요약

이 논문은 컨볼루션 네트워크에서 추출한 딥 특징을 사용하여 인간 행동의 카테고리, 물체, 동작, 진행 상황, 의도와 같은 다양한 측면을 종합적으로 고려하는 완전히 연결된 시간적 조건부 랜덤 필드(CRF) 모델을 제안한다. 이중 비동기적 변분 추론 방법을 도입함으로써 표현력 있는 구조 모델의 효율적인 엔드 투 엔드 학습을 가능하게 하여, Charades 벤치마크에서 기존 최고 성능(17.2% mAP)보다 뚜렷한 향상인 22.4% mAP를 달성한다.

ABSTRACT

Actions are more than just movements and trajectories: we cook to eat and we hold a cup to drink from it. A thorough understanding of videos requires going beyond appearance modeling and necessitates reasoning about the sequence of activities, as well as the higher-level constructs such as intentions. But how do we model and reason about these? We propose a fully-connected temporal CRF model for reasoning over various aspects of activities that includes objects, actions, and intentions, where the potentials are predicted by a deep network. End-to-end training of such structured models is a challenging endeavor: For inference and learning we need to construct mini-batches consisting of whole videos, leading to mini-batches with only a few videos. This causes high-correlation between data points leading to breakdown of the backprop algorithm. To address this challenge, we present an asynchronous variational inference method that allows efficient end-to-end training. Our method achieves a classification mAP of 22.4% on the Charades benchmark, outperforming the state-of-the-art (17.2% mAP), and offers equal gains on the task of temporal localization.

연구 동기 및 목표

• 현재의 비디오 이해 모델이 외관과 운동에만 집중하는 한계를 해결하기 위해 의도와 활동 시퀀스에 대한 고수준의 추론을 통합한다.
• 비디오의 행동에 대한 장거리 시간적 의존성과 다양한 의미적 측면을 동시에 추론할 수 있는 딥 구조 모델을 개발한다.
• 비디오 미니배치 간 높은 상관관계로 인해 어려움을 겪는 표현력 있는 완전히 연결된 시간적 CRF의 엔드 투 엔드 학습을 가능하게 한다.
• 행동 인식 및 시간적 국소화 작업에서 의미 활동 구성 요소의 구조적 모델링을 통해 성능을 향상시킨다.

제안 방법

• 모든 프레임이 다른 모든 프레임의 영향을 받는 완전히 연결된 시간적 CRF를 제안하여 국소적 이웃을 넘어서는 장거리 시간적 추론을 가능하게 한다.
• 딥 컨볼루션 네트워크를 사용하여 엔드 투 엔드로 CRF 잠재변수를 예측하며, 각 프레임에 대해 행동 카테고리, 물체, 동작, 진행 상황, 잠재적 의도를 동시에 모델링한다.
• 최근 반복에서의 결과를 사용하여 다른 프레임으로부터의 메시지 전달을 근사하는 비동기적 변분 추론 방법을 도입하여 미니배치 내 상관관계 문제를 감소시킨다.
• 전체 비디오의 미니배치를 사용한 확률적 학습을 통해 최근에 계산된 프레임의 메시지를 강조함으로써 학습 안정성과 확장성을 향상시킨다.
• 지속적인 분포로 잠재적 의도 변수를 활용하여 목표 지향적 행동을 모델링하고 장기적 비디오 의미를 해석할 수 있도록 한다.
• t-SNE 시각화와 클러스터링을 적용하여 학습된 의도 표현의 구조를 분석하며, 잠재 공간 내 의미 있는 구조를 입증한다.

실험 결과

연구 질문

• RQ1 완전히 연결된 시간적 CRF 모델은 비디오의 행동, 물체, 의도 간의 장거리 의존성과 의미 관계를 효과적으로 포착할 수 있는가?
• RQ2 미니배치에 포함된 비디오 수가 적고 상호 간 상관관계가 높은 상황에서 표현력 있는 구조 모델의 엔드 투 엔드 학습을 어떻게 가능하게 할 수 있는가?
• RQ3 잠재적 의도 모델링은 행동 인식을 넘어서 목표와 의도에 대한 추론을 통해 비디오 이해를 어느 정도 향상시킬 수 있는가?
• RQ4 표준 역전파 방법과 비교해 비동기적 추론은 대규모 비디오 데이터셋에서 깊이 있는 구조 모델의 안정적이고 효율적인 학습을 가능하게 하는가?
• RQ5 제안된 방법은 LSTM 및 이중 스트림 네트워크와 같은 강력한 베이스라인을 행동 분류 및 시간적 국소화 모두에서 뛰어넘을 수 있는가?

주요 결과

• 제안된 방법은 Charades 벤치마크에서 이전 최고 성능(17.2% mAP)보다 뚜렷한 향상인 22.4% mAP를 달성한다.
• 후처리를 적용한 결과, 모델은 LSTM 기반 베이스라인보다 시간적 국소화 성능에서 뛰어나 12.8% mAP를 기록했으며, LSTM 기반 베이스라인은 11.6% mAP를 기록했다.
• 정성적 분석 결과, 모델은 의미 있는 의도 표현을 학습하며, t-SNE 시각화에서 유사한 의도 유형을 가진 비디오들이 클러스터링되는 경향을 보였다.
• 동일한 의도 유형을 가진 비디오 간 평균 거리는 6.02×10⁻³이었으며, 이는 무작위 쌍 간 평균 거리(7.25×10⁻³)보다 유의미하게 낮아 학습된 의도 공간 내 의미 있는 구조가 있음을 시사한다.
• 모델는 LSTM 기반 베이스라인보다 후처리에 더 큰 이점을 얻었으며, 이는 더 긴 시간 스케일을 고려하고 시간적 스무딩에서 유의미한 이점을 얻고 있음을 시사한다.
• 비동기적 학습 방법은 비디오 미니배치에서 표준 SGD의 한계를 극복하고 완전히 연결된 CRF의 안정적이고 확장 가능한 엔드 투 엔드 학습을 가능하게 하였다.