[논문 리뷰] Interpretable Deep Feature Propagation for Early Action Recognition

He Zhao, Richard P. Wildes|arXiv (Cornell University)|2021. 07. 11.

Human Pose and Action Recognition참고 문헌 80인용 수 7

한 줄 요약

이 논문은 중간 ConvNet 특징을 활용하고, 학습된 잔차 생성 네트워크(RGN)를 통해 시간에 따라 잔차를 전파하는 새로운 해석 가능한 딥 페처 전파 프레임워크를 제안한다. 이 프레임워크는 오차 누적이 줄어들도록 적응형 칼만 필터를 통합하여 조정한다. 이 방법은 UCF101, JHMDB21, BIT-Interaction 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하면서도, RGN이 운동 패턴을 포착하는 공간 이동 메커니즘으로 작용하고, 칼만 필터가 실시간 추정 오차에 기반해 예측을 적응적으로 보정한다는 점을 드러내어 모델의 해석 가능성을 높인다.

ABSTRACT

Early action recognition (action prediction) from limited preliminary observations plays a critical role for streaming vision systems that demand real-time inference, as video actions often possess elongated temporal spans which cause undesired latency. In this study, we address action prediction by investigating how action patterns evolve over time in a spatial feature space. There are three key components to our system. First, we work with intermediate-layer ConvNet features, which allow for abstraction from raw data, while retaining spatial layout. Second, instead of propagating features per se, we propagate their residuals across time, which allows for a compact representation that reduces redundancy. Third, we employ a Kalman filter to combat error build-up and unify across prediction start times. Extensive experimental results on multiple benchmarks show that our approach leads to competitive performance in action prediction. Notably, we investigate the learned components of our system to shed light on their otherwise opaque natures in two ways. First, we document that our learned feature propagation module works as a spatial shifting mechanism under convolution to propagate current observations into the future. Thus, it captures flow-based image motion information. Second, the learned Kalman filter adaptively updates prior estimation to aid the sequence learning process.

연구 동기 및 목표

• 제한된 시간적 맥락에서 실시간 스트리밍 비전 시스템에서의 초기 행동 인식 도전 과제를 해결하기 위해.
• 완전한 행동 시퀀스에 의존하지 않고 공간적 특징 공간에서 변화하는 행동 패턴을 모델링하여 성능을 향상시키기 위해.
• 행동 예측에서 딥 러닝 구성 요소, 특히 잔차 전파 및 칼만 필터링 메커니즘의 해석 가능성을 향상시키기 위해.
• 예측 불확실성에 적응하는 칼만 필터를 통합하여 장기 예측에서 오차 누적을 줄이기 위해.
• 학습된 구성 요소인 RGN과 칼만 필터가 운동 동역학을 어떻게 포착하고 예측을 안정화시키는지에 대한 통찰을 제공하기 위해.

제안 방법

• 사전 학습된 ConvNet의 중간층 특징을 사용하여 원시 데이터로부터의 추상화를 가능하게 하면서도 공간적 구조를 유지한다.
• 특징을 직접 전파하는 대신, 시간적으로 인접한 특징 맵 간의 차이인 특징 잔차를 전파함으로써 정보가 풍부하고 압축된 표현을 달성한다.
• 잔차 생성 네트워크(RGN)는 초기 관측치를 기반으로 미래의 잔차를 반복적으로 예측하여, 잔차의 덧셈을 통해 미래 특징의 재구성 가능하다.
• 실시간으로 예측 오차를 보정하기 위해 적응형 칼만 필터를 통합하며, 상태 추정과 혁신 업데이트를 통해 장기 예측의 안정성을 확보한다.
• 칼만 필터는 훈련 중 전체 영상 시퀀스에 걸쳐 엔드 투 엔드로 학습되며, 추론 시에는 관측된 부분 시퀀스에만 적용된다.
• 최종 행동 분류를 위해 초기 관측 특징과 예측 특징을 결합함으로써 조기 결정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 제한된 시간적 맥락에서 초기 행동 인식에 대해 깊이 있는 특징 전파를 어떻게 압축적이고 안정적으로 만들 수 있는가?
• RQ2 학습된 잔차 전파 메커니즘이 비디오 특징 내에서 운동 동역학을 어떻게 모델링하는가?
• RQ3 적응형 칼만 필터는 순차적 특징 예측에서 예측 안정성 향상과 오차 누적 감소에 어떻게 기여하는가?
• RQ4 모델의 내부 구성 요소(RGN 및 칼만 필터)가 행동 예측에서 기능적으로 어떻게 작용하는지 해석 가능한 정도는 어느 정도인가?
• RQ5 다양한 행동 데이터셋에서 기존 접근법과 비교해 본다면, 제안된 방법은 정확도와 강건성 측면에서 어떤가?

주요 결과

• 제안된 방법은 UCF100, JHMDB21, BIT-Interaction 데이터셋에서 최신 기술 수준 성능을 달성하며, 기존 방법들보다 초기 행동 인식에서 뛰어난 성능을 보였다.
• 학습된 RGN 모듈은 은폐적으로 운동 기반 이미지 플로우를 포착하는 공간 이동 메커니즘으로 기능하며, 특징의 시간적 진화를 효과적으로 모델링한다.
• 칼만 필터는 예측 오차에 기반해 이득을 적응적으로 조정하며, 운동 방향이 급격히 변할 경우 더 큰 보정을 제공함으로써 복잡한 운동 시나리오에서의 강건성을 향상시킨다.
• 예측과 관측 간의 차이를 입력으로 사용하는 새로운 칼만 필터 설계는 기존 방법이 원시 예측 및 관측 입력을 사용한 것보다 노출 편향을 줄였다.
• 새로운 칼만 필터 설계는 특히 운동 변화가 드물게 발생하는 경우, JHMDB21 및 UCF101에서 관측 비율이 낮을 때 뚜렷한 정확도 향상을 이끌어냈다.
• UCF101에서는 행동이 연속적이고 동적인 변화를 보이므로, 이전 칼만 접근법과 비교해 성능 향상 폭이 더 작았으며, 두 방법 모두 높고 지속적인 칼만 이득이 필요로 했다.