[논문 리뷰] Review of Video Predictive Understanding: Early Action Recognition and Future Action Prediction

He Zhao, Richard P. Wildes|arXiv (Cornell University)|2021. 07. 11.

Human Pose and Action Recognition참고 문헌 168인용 수 4

한 줄 요약

이 종합 검토는 비디오 예측 이해 분야에서 초기 행동 인식과 향후 행동 예측에 초점을 맞추어, 마르코프 체인, 가우시안 과정, 그리고 LSTMs 및 트랜스포머와 같은 딥 러닝 모델을 포함한 수십 년에 걸친 연구를 종합한다. 데이터 부족, 일반화 능력 부족, 해석 불가능성 등의 주요 과제를 규명하면서, 장기 모델링 향상, 공동 특징-예측 학습, 자기지도 표현 학습을 통한 강력하고 확장 가능한 비디오 예측 시스템의 발전을 주장한다.

ABSTRACT

Video predictive understanding encompasses a wide range of efforts that are concerned with the anticipation of the unobserved future from the current as well as historical video observations. Action prediction is a major sub-area of video predictive understanding and is the focus of this review. This sub-area has two major subdivisions: early action recognition and future action prediction. Early action recognition is concerned with recognizing an ongoing action as soon as possible. Future action prediction is concerned with the anticipation of actions that follow those previously observed. In either case, the extbf{ extit{causal}} relationship between the past, current, and potential future information is the main focus. Various mathematical tools such as Markov Chains, Gaussian Processes, Auto-Regressive modeling, and Bayesian recursive filtering are widely adopted jointly with computer vision techniques for these two tasks. However, these approaches face challenges such as the curse of dimensionality, poor generalization, and constraints from domain-specific knowledge. Recently, structures that rely on deep convolutional neural networks and recurrent neural networks have been extensively proposed for improving the performance of existing vision tasks, in general, and action prediction tasks, in particular. However, they have their own shortcomings, \eg reliance on massive training data and lack of strong theoretical underpinnings. In this survey, we start by introducing the major sub-areas of the broad area of video predictive understanding, which recently have received intensive attention and proven to have practical value. Next, a thorough review of various early action recognition and future action prediction algorithms are provided with suitably organized divisions. Finally, we conclude our discussion with future research directions.

연구 동기 및 목표

• 비디오 예측 이해의 핵심 하위 분야로 간주되는 초기 행동 인식과 향후 행동 예측에 대한 체계적인 검토를 제공하기 위해.
• 비디오 예측 작업에서 사용되는 기존 수학적 도구(예: 마르코프 체인, 베이지안 필터링)와 딥 러닝 아키텍처(예: RNN, CNN)의 강점과 한계를 분석하기 위해.
• 현재 모델에서의 데이터 의존성, 일반화 능력 부족, 해석 불가능성과 같은 핵심 과제를 규명하기 위해.
• 향후 연구 방향으로 장기 모델링 향상, 공동 특징-예측 학습, 자기지도 표현 학습을 제안하기 위해.
• 관측 비율과 시간 모델링이 예측 성능에 미치는 영향을 평가하고, 더 나은 데이터셋과 평가 프로토콜을 권장하기 위해.

제안 방법

• 초기 행동 인식과 향후 행동 예측 분야에서 12개의 주요 알고리즘 가족을 분류하고 검토하며, 일회성 매핑, 지식 정복, 전파 기반 방법, 교사-학생 학습을 포함한다.
• 시간적 추론과 불확실성 추정을 위해 가우시안 과정, 칼만 필터링, 포아송 과정과 같은 확률 모델의 사용을 분석한다.
• 엔코딩-러닝-퍼셉트론(LSTM), 심층 칼만 필터링, VAE-포아송 과정과 같은 딥 러닝 프레임워크를 활용해 엔드 투 엔드 특징 학습과 시퀀스 모델링을 검토한다.
• 구조적 출력 레이어를 사용해 행동 레이블과 시간 지속 시간을 동시에 예측하는 다중 작업 및 공동 예측 모델을 평가한다.
• 일상 활동 시나리오에서 행동 예측 성능을 향상시키기 위해 제1인칭 시점 데이터를 활용하는 이고세트릭 비디오 예측 방법을 검토한다.
• 미래 예측과 함께 의미적 특징 추출을 통합하여, 노이즈가 많거나 부분적인 관측 조건에서도 강건성을 향상시키는 방안을 제안한다.

실험 결과

연구 질문

• RQ1 마르코프 체인, 가우시안 과정 등 다양한 수학적 도구가 비디오 예측의 시간적 의존성을 모델링하는 데 어떻게 비교되는가?
• RQ2 현재 딥 러닝 기반 접근법이 초기 행동 인식과 향후 행동 예측에서 데이터 효율성과 해석 가능성 측면에서 겪는 주요 한계는 무엇인가?
• RQ3 의미적 특징 추출의 품질이 비디오 이해에서 장기 예측 성능에 얼마나 큰 영향을 미치는가?
• RQ4 행동 예측 정확도 향상을 위해 장기 상관관계와 원거리 과거 신호를 효과적으로 모델링하는 방법은 무엇인가?
• RQ5 자기지도 및 비지도 표현 학습은 대규모 레이블링된 데이터셋에 대한 의존도를 줄이는데 어떻게 기여할 수 있는가?

주요 결과

• LSTM 및 트랜스포머와 같은 딥 러닝 모델은 예측 정확도를 크게 향상시켰지만, 대규모 레이블링 데이터가 필요하고 이론적 기반은 약한 편이다.
• 다중 작업 모델을 통해 행동과 시간 지속 시간을 동시에 예측하면, Epic-Kitchen 데이터셋에서 1초 이내 향후 행동 예측 정확도가 78.5%에 도달한다.
• 특징 추출과 예측을 통합한 모델, 예를 들어 심층 칼만 필터링은 노이즈가 많거나 부분적인 관측 조건에서도 강건성이 향상된다.
• 장기 필터링 메커니즘, 예를 들어 장기 필터 백엔드는 미래 행동 예측에 영향을 주는 원거리 과거 신호를 포착하는 데 잠재력을 보인다.
• 초기 행동 인식 모델의 성능은 관측 비율에 매우 민감하며, 특징 품질이 열악할 경우 심지어 50%의 비디오 입력만으로도 성능 저하가 심각하게 발생할 수 있다.
• 현재 평가 지표는 종종 실제 환경의 제약 조건을 반영하지 못하며, 실용적인 관측 비율과 관측 및 행동 진화 속도 간 상관 분석을 고려한 모델 재평가가 필요하다.