[논문 리뷰] An Information-rich Sampling Technique over Spatio-Temporal CNN for Classification of Human Actions in Videos

S. H. Shabbeer Basha, Viswanath Pulabaigari외 1명|arXiv (Cornell University)|2020. 02. 06.

Human Pose and Action Recognition인용 수 6

한 줄 요약

이 논문은 3D CNN 및 LSTM 아키텍처와 결합하여 가우시안 가중 합산을 사용해 연속 프레임을 집계하는 정보가 풍부한 샘플링 기법을 제안한다. 이는 시공간 특징 학습을 향상시키는 데 기여한다. KTH 및 WEIZMANN 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 교차 검증 시 95.27% (±0.45)의 정확도와 전이 학습을 사용할 경우 95.86%의 정확도를 기록하였다.

ABSTRACT

We propose a novel scheme for human action recognition in videos, using a 3-dimensional Convolutional Neural Network (3D CNN) based classifier. Traditionally in deep learning based human activity recognition approaches, either a few random frames or every $k^{th}$ frame of the video is considered for training the 3D CNN, where $k$ is a small positive integer, like 4, 5, or 6. This kind of sampling reduces the volume of the input data, which speeds-up training of the network and also avoids over-fitting to some extent, thus enhancing the performance of the 3D CNN model. In the proposed video sampling technique, consecutive $k$ frames of a video are aggregated into a single frame by computing a Gaussian-weighted summation of the $k$ frames. The resulting frame (aggregated frame) preserves the information in a better way than the conventional approaches and experimentally shown to perform better. In this paper, a 3D CNN architecture is proposed to extract the spatio-temporal features and follows Long Short-Term Memory (LSTM) to recognize human actions. The proposed 3D CNN architecture is capable of handling the videos where the camera is placed at a distance from the performer. Experiments are performed with KTH and WEIZMANN human actions datasets, whereby it is shown to produce comparable results with the state-of-the-art techniques.

연구 동기 및 목표

• 3D CNN에 적합한 프레임 샘플링 기법을 향상시켜 영상 내 인간 동작 인식 성능을 향상시키는 것.
• 기존의 랜덤 또는 매 k번째 프레임 선택과 같은 프레임 샘플링 기법이 비효율적으로 동작할 수 있는 한계를 해결하는 것.
• 장기적인 영상 시퀀스에서 시공간 역동성을 유지하는 강력한 특징 추출 파이프라인을 개발하는 것.
• KTH 및 WEIZMANN 데이터셋과 같은 벤치마크 데이터셋에서 교차 검증 및 전이 학습 설정 하에 제안된 방법의 성능을 평가하는 것.

제안 방법

• 크기가 k인 가우시안 커널을 사용해 연속된 k개의 프레임을 가우시안 가중 합산을 통해 하나의 프레임으로 집계한다.
• 집계된 프레임에서 시공간 특징을 추출하기 위해 3D CNN을 활용하여 공간적 및 시간적 패턴의 동시 학습을 가능하게 한다.
• 추출된 특징 간의 순차적 의존성을 모델링하기 위해 장기 기억망(LSTM)을 통합하여 동작 분류 성능을 향상시킨다.
• KTH 및 WEIZMANN 데이터셋에서 사전 학습된 3D CNN 모델의 마지막 두 완전 연결층을 미세 조정하여 전이 학습을 수행한다.
• 가우시안 커널 크기(3에서 8 사이)를 최적화하여 최적의 프레임 집계 전략을 도출한다.
• 5겹 교차 검증을 적용하고 분류 정확도를 주요 평가 지표로 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 가우시안 가중 프레임 집계 기법이 랜덤 또는 균일한 프레임 샘플링 기법에 비해 동작 인식 정확도에서 어떻게 성능을 발휘하는가?
• RQ2 영상 동작 인식에서 연속된 프레임을 집계할 때 최적의 가우시안 커널 크기는 얼마인가?
• RQ3 제안된 3D CNN과 LSTM을 활용한 모델이 기존 최신 기술 수준의 딥 러닝 모델보다 표준 인간 동작 인식 벤치마크에서 뛰어난 성능을 보일 수 있는가?
• RQ4 WEIZMANN 및 KTH와 같은 작은 데이터셋에서 미세 조정을 수행할 경우 전이 학습이 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 5겹 교차 검증을 통해 KTH 데이터셋에서 95.27% ± 0.45의 분류 정확도를 달성하였으며, 여러 최신 기술 수준의 방법들을 초월하였다.
• 전이 학습을 적용한 결과, KTH 데이터셋에서 95.86% ± 0.3의 정확도를 기록하여 관련 데이터셋에 대한 미세 조정의 효과를 입증하였다.
• 모든 테스트된 크기(3에서 8) 중에서 가우시안 커널 크기가 5일 때가 최적의 성능를 기록하여 가장 높은 성능를 달성하였다.
• 학습 가능한 완전 연결층의 수를 늘릴수록 특히 작은 데이터셋에서 과적합이 발생하여 일반화 성능가 감소하는 경향을 보였다.
• 손으로 작성한 특징 기반 방법인 Bag of Expressions(BoE) 및 Histogram of Oriented Optical Flow(HOOF)와 비교했을 때, 딥 러닝에만 의존하는 모델이 유사한 성능를 기록하였다.
• 전이 학습은 둘 다의 데이터셋에서 성능 향상에 미미하게 기여하였으며, 사전 학습된 모델이 최소한의 재학습으로 새로운 동작 인식 작업에 효과적으로 적용될 수 있음을 시사한다.