[논문 리뷰] Encouraging LSTMs to Anticipate Actions Very Early

Mohammad Sadegh Aliakbarian, Fatemeh Sadat Saleh외 4명|arXiv (Cornell University)|2017. 03. 21.

Human Pose and Action Recognition인용 수 21

한 줄 요약

이 논문은 비디오 시퀀스에서 행동을 조기에 예측하도록 유도하는 새로운 암시 손실을 포함한 새로운 다단계 LSTM 아키텍처를 제안한다. 맥락 인식 및 행동 인식 특징을 함께 모델링함으로써, 이 방법은 기존 접근 방식보다 JHMDB-21에서 22.0%, UT-Interaction에서 14.0%, UCF-101에서 49.9% 더 높은 성능을 달성하여 매우 조기에 예측하는 데에 (예: 비디오 시퀀스의 1%) 최신 기술 수준을 초월한다.

ABSTRACT

In contrast to the widely studied problem of recognizing an action given a complete sequence, action anticipation aims to identify the action from only partially available videos. As such, it is therefore key to the success of computer vision applications requiring to react as early as possible, such as autonomous navigation. In this paper, we propose a new action anticipation method that achieves high prediction accuracy even in the presence of a very small percentage of a video sequence. To this end, we develop a multi-stage LSTM architecture that leverages context-aware and action-aware features, and introduce a novel loss function that encourages the model to predict the correct class as early as possible. Our experiments on standard benchmark datasets evidence the benefits of our approach; We outperform the state-of-the-art action anticipation methods for early prediction by a relative increase in accuracy of 22.0% on JHMDB-21, 14.0% on UT-Interaction and 49.9% on UCF-101.

연구 동기 및 목표

• 자율 주행과 같은 실시간 응용 프로그램에 필수적인 극히 짧은 비디오 시퀀스에서 행동을 예측하는 도전 과제를 해결한다.
• 최소한의 입력 프레임에서 조기에 정확한 예측을 유도하지 못하는 기존 손실 함수의 한계를 극복한다.
• 비용이 많이 드는 광학 흐름 계산에 의존하지 않고도 맥락 인식 및 행동 인식 특징을 효과적으로 통합하는 모델을 개발한다.
• 비디오 입력의 가장 조기에 정확도를 향상시켜 안전이 중요한 상황에서 더 빠른 시스템 반응을 가능하게 한다.

제안 방법

• 전체 RGB 프레임에서 맥락 인식 특징을 먼저 추출한 후, 행동 관련 영역에 국한된 행동 인식 특징과 융합하는 다단계 LSTM(이하 MS-LSTM)을 도입한다.
• 클래스별 활성화 맵을 사용해 행동 인식 특징을 생성함으로써, 광학 흐름에 의존하지 않고도 비디오의 분류에 기여하는 부분에 집중할 수 있도록 한다.
• 시퀀스 초반의 모호한 단계에서는 잘못된 양성 예측에 대한 페널티를 줄이고, 조기에 잘못된 음성 예측에 대해 강하게 페널티를 주는 새로운 암시 손실을 설계한다.
• 학습 안정성 향상과 조기 예측 성능 향상을 위해 특징 맵에 대해 평균 풀링을 적용한다.
• 새로운 암시 손실과 함께 교차 엔트로피 손실을 사용해 모델을 엔드 투 엔드로 훈련하며, 이는 조기 예측의 중요도를 동적으로 조정한다.
• 광학 흐름 또는 운동 기반 특징에 의존하지 않아, 단일 GPU에서 이중 스트림 기반 모델 대비 14배 빠른 추론 속도를 확보한다.

실험 결과

연구 질문

• RQ1 비디오 시퀀스의 조기에 가능한 한 빨리 정확한 예측을 하도록 유도하는 손실 함수를 설계할 수 있는가?
• RQ2 맥락 인식 및 행동 인식 특징을 결합하면, 단독으로 사용할 경우보다 조기 행동 예측 성능이 어떻게 향상되는가?
• RQ3 광학 흐름을 제거함으로써 성능 손실 없이 효율성은 얼마나 향상되는가?
• RQ4 비디오의 1%만 관찰했을 때, 제안된 방법이 최신 기술 수준의 접근 방식보다 현저히 높은 정확도를 달성할 수 있는가?

주요 결과

• 제안된 암시 손실은 비디오 시퀀스의 1%만을 사용해 예측할 때, JHMDB-21에서 기존 최신 기술 대비 22.0% 상대적 정확도 향상을 달성한다.
• UT-Interaction에서 동일한 조기 예측 설정 하에 기존 방법 대비 정확도가 14.0% 향상된다.
• UCF-101에서 1% 비디오 입력에서 49.9%의 상대적 정확도 향상을 달성하여 뛰어난 조기 예측 능력을 입증한다.
• 단지 2프레임(30fps 기준 약 1/15초)만 관찰했을 때도, 다른 모델가 30~40프레임을 사용한 경우와 유사한 정확도를 달성하여, 행동 예측을 약 1초 앞서 수행할 수 있다.
• 맥락 인식 및 행동 인식 특징의 조합은 UCF-101에서 K=1(첫 번째 프레임)에서 80.5%의 정확도를 기록하며, 단일 특징 유형만 사용한 모델들(맥락 전용: 62.80%, 행동 전용: 69.33%)보다 뚜렷한 성능 우위를 보인다.
• 50프레임 비디오 처리 시, 이중 스트림 기반 모델 대비 14배 더 빠르게 처리되며, 성능 손실 없이도 높은 효율성을 입증한다.