[논문 리뷰] Eigen Evolution Pooling for Human Action Recognition

Yan Wang, Vinh Cao Trần외 1명|arXiv (Cornell University)|2017. 08. 17.

Human Pose and Action Recognition참고 문헌 33인용 수 6

한 줄 요약

이 논문은 주성분 분석(PCA)에서 유도된 기저 함수를 사용하여 영상 시퀀스 내 특징의 진화를 모델링하는 새로운 시간 풀링 방법인 고유 진화 풀링(Eigen Evolution Pooling, EEP)을 제안한다. EEP는 평균 풀링, 최대 풀링, 순위 풀링보다 뛰어난 성능을 보이며, TSN 및 밀도 궤적 또는 VideoDarwin 특징과 조합했을 때 UCF101에서 95.8%의 최고 정확도와 Hollywood2에서 평균 정밀도 80.5%를 기록한다.

ABSTRACT

We introduce Eigen Evolution Pooling, an efficient method to aggregate a sequence of feature vectors. Eigen evolution pooling is designed to produce compact feature representations for a sequence of feature vectors, while maximally preserving as much information about the sequence as possible, especially the temporal evolution of the features over time. Eigen evolution pooling is a general pooling method that can be applied to any sequence of feature vectors, from low-level RGB values to high-level Convolutional Neural Network (CNN) feature vectors. We show that eigen evolution pooling is more effective than average, max, and rank pooling for encoding the dynamics of human actions in video. We demonstrate the power of eigen evolution pooling on UCF101 and Hollywood2 datasets, two human action recognition benchmarks, and achieve state-of-the-art performance.

연구 동기 및 목표

• 영상 내 인간 행동의 장기적 시간적 동역학을 포착하는 데에 기존 풀링 방법의 한계를 해결하기 위해.
• 특징 벡터 시퀀스를 집계하기 위한 일반적이고 효율적이며 정보를 유지하는 방법을 개발하기 위해.
• PCA 기반 기저 함수를 사용하여 시간에 따른 특징 진화를 모델링하여 행동 인식 성능을 향상시키기 위해.
• 특히 깊은 특징과 수작업으로 만든 기술적 특징과 조합했을 때, EEP의 효과성을 기준 데이터셋 UCF101과 Hollywood2에서 입증하기 위해.

제안 방법

• EEP는 시간에 따라 각 특징 차원을 일변도 함수로 간주하고, 샘플링된 특징 벡터에 대한 PCA 계수를 사용하여 시퀀스를 표현한다.
• 이 방법은 정규 간격으로 L개의 특징 벡터를 샘플링하고(예: L=16 또는 25), 특징 진화의 주요 모드를 포착하는 기저 함수를 학습한다.
• 결과적으로 생성된 PCA 계수는 표준 풀링보다 시간적 동역학을 더 효과적으로 인코딩하는 압축되고 정보가 풍부한 표현(EEP1, EEP2 등)을 형성한다.
• 계산 효율성과 다양한 길이의 영상에의 유연성을 확보하기 위해 기저 함수는 이산余弦변환(DCT)을 사용해 근사할 수 있다.
• EEP는 RGB 프레임(‘고유 영상’ 생성 가능) 또는 TSN 특징과 같은 깊은 CNN 특징을 포함한 임의의 특징 벡터 시퀀스에 적용할 수 있다.
• 이 방법은 시간 세그먼트 네트워크(TSN)에 통합되어 '고유 TSN'으로 구현되며, EEP와 최대 풀링을 조합하여 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 PCA 기반 기저 함수를 사용하여 특징의 시간적 진화를 모델링하는 풀링 방법이 평균, 최대, 순위 풀링과 같은 표준 풀링 방법보다 행동 인식 성능에서 뛰어나게 되는가?
• RQ2 장기적 행동 모델링에서 순위 풀링과 비교해 EEP는 시간적 동역학을 얼마나 잘 유지하는가?
• RQ3 딥 러닝 특징(예: TSN)과 수작업으로 만든 기술적 특징(예: DTD, VideoDarwin)을 조합했을 때 EEP는 표준 벤치마크에서 어떻게 성능을 내는가?
• RQ4 성능을 유지하면서 DCT를 사용해 고유 기저 함수를 효과적으로 근사할 수 있는가? 이는 다양한 길이의 영상에 적용 가능하게 한다.

주요 결과

• TSN 및 VideoDarwin 특징과 조합했을 때 EEP는 UCF101에서 95.8%의 정확도와 Hollywood2에서 평균 정밀도 80.5%를 기록하여 새로운 최고 성능을 달성한다.
• EEP(1+2+3개 성분)와 TSN 특징에서 최대 풀링을 조합하면 UCF101에서 94.6%의 정확도와 Hollywood2에서 평균 정밀도 75.5%를 기록한다.
• Dense Trajectory Descriptors(DTD)와 EEP를 조합하면 UCF101에서 95.8%의 정확도와 Hollywood2에서 평균 정밀도 79.3%를 기록한다.
• DCT를 사용한 근사 EEP는 정확한 EEP와 유사한 성능을 보이며, UCF101(split1)에서 정확도가 0.7% 감소하는 것으로 확인되어 실용성은 입증되었다.
• 실험 결과 순위 풀링는 평균 및 최대 풀링보다 열등했고, EEP는 두 데이터셋 모두에서 세 가지 방법을 모두 능가하는 일관된 성능을 보였다.
• 이 방법은 원본 RGB(고유 영상)와 깊은 CNN 특징(예: TSN)을 포함한 다양한 특징 유형에 대해 일반적이고 효과적이다.