[논문 리뷰] Anticipation and next action forecasting in video: an end-to-end model with memory

Fiora Pirri, Lorenzo Mauro외 4명|arXiv (Cornell University)|2019. 01. 11.

Human Pose and Action Recognition참고 문헌 1인용 수 7

한 줄 요약

이 논문은 동적 메모리와 함께 종단간(end-to-end) 액션 예측 및 예측 모델을 제안하며, 비디오 시퀀스에서 현재 액션을 동시에 예측하고 다음 보이지 않는 액션을 예측한다. 메모리 증강 아키텍처와 프로토넷 기반 액션 분류를 통해 시간적 맥락을 활용함으로써, 다양한 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며, 최적의 시간 조건에서 Breakfast 데이터셋에서 다음 액션 예측 정확도가 94.72%에 이른다.

ABSTRACT

Action anticipation and forecasting in videos do not require a hat-trick, as far as there are signs in the context to foresee how actions are going to be deployed. Capturing these signs is hard because the context includes the past. We propose an end-to-end network for action anticipation and forecasting with memory, to both anticipate the current action and foresee the next one. Experiments on action sequence datasets show excellent results indicating that training on histories with a dynamic memory can significantly improve forecasting performance.

연구 동기 및 목표

• 액션 지속 시간에 관계없이 비디오 시퀀스에서 다음 보이지 않는 액션을 예측하는 문제에 대응한다.
• 동적 메모리 메커니즘을 통해 장기적인 시간적 의존성을 모델링하여 액션 예측 및 다음 액션 예측 성능을 향상시킨다.
• 트림되지 않은 비디오 스트림에서 실시간으로 조기에 미래 액션을 예측할 수 있도록 한다. 이는 로봇공학, 스포츠 분석, 인간-로봇 상호작용에 유용하다.
• 기존 방법들이 현재 액션 예측에만 집중하거나 미래 액션을 완전히 관찰한 후에야 예측할 수 있다는 한계를 극복한다.
• 단일 종단간 훈련 가능한 아키텍처를 사용하여 현재 액션 예측과 다음 액션 예측을 동시에 수행하는 통합 프레임워크를 제안한다.

제안 방법

• 장기적인 액션 이력을 인코딩하고 유지하기 위해 동적 메모리 모듈을 갖춘 종단간 딥 네ural 네트워크를 사용한다.
• 1초 이내에서 6프레임을 샘플링하여 추출한 시각적 및 운동적 특징을 기반으로 프로토넷 기반 헤드를 사용해 액션을 분류한다.
• 과거 액션에서 유도된 맥락 정보를 누적하고 업데이트하는 메모리 유닛을 통합하여 현재 예측과 다음 액션 예측에 모두 기여한다.
• 시간적 시작 시간 불확실성을 처리하고 데이터셋 간 일관된 평가를 확보하기 위해 고정된 1초 예측 윈도우를 적용한다.
• 액션 분류를 위한 교차 엔트로피 손실과 예측을 위한 맞춤형 지표를 사용하여 모델을 훈련하며, 구성 요소 기여도를 검증하기 위해 아블레이션 스터디를 수행한다.
• 표현 학습 향상과 일반화 성능 향상을 위해 컨volutional 레이어에서 특징 추출 및 보조 연결을 활용한다.

실험 결과

연구 질문

• RQ1 통합 딥 러닝 모델이 트림되지 않은 비디오 시퀀스에서 현재 액션을 효과적으로 예측하고 다음 보이지 않는 액션을 예측할 수 있는가?
• RQ2 동적 메모리 메커니즘을 통합할 경우, 메모리가 없는 모델에 비해 장기적인 액션 예측 성능이 어떻게 향상되는가?
• RQ3 다음 액션에 가까워질수록 모델의 다음 액션 예측 성능은 어느 정도로 변화하는가?
• RQ4 다양한 데이터셋에서 최신 기술 수준의 방법들과 비교해 본다면, 제안된 AFN 모델은 액션 예측 및 다음 액션 예측 모두에서 어떤 성능을 보이는가?
• RQ5 개별 구성 요소(예: 메모리, 프로토넷, 보조 연결)가 전체 예측 정확도에 기여하는 정도는 어느 정도인가?

주요 결과

• AFN은 동일한 평가 프로토콜 하에서 JHMDB와 UCF101에서 액션 예측 성능이 최신 기술 수준(SOTA)을 달성하며, 이전 방법들을 능가한다.
• Breakfast 데이터셋에서 모델이 현재 액션의 1~50% 진행 시점에 다음 액션 예측 정확도가 94.72%에 이른다.
• 모든 데이터셋에서 높은 예측 정확도(93.4~94.7%)를 유지하며, MPII(93.4%)와 Breakfast(94.72%)에서 가장 높은 성능을 기록한다.
• 다음 액션을 예측할 때, 과거 시퀀스 길이가 증가함에 따라 기준 모델 대비 정밀도와 재현율(상위-1)에서 11~13% 향상되고, 정확도는 최대 17% 향상된다.
• 아블레이션 스터디 결과, 메모리 모듈이나 보조 연결을 제거할 경우 성능 저하가 심각하게 발생함을 확인하여, 장기적 맥락 모델링에서 이들의 핵심적 역할을 입증한다.
• Breakfast에 대한 오차 행렬 분석 결과, 액션 클래스 간 일관된 성능을 보이며 대부분의 예측이 상위-1 정확도 내에 포함되어 있어, 우수한 일반화 능력을 보여준다.