[논문 리뷰] Temporal Activity Detection in Untrimmed Videos with Recurrent Neural Networks

Alberto Montes, Amaia Salvador외 2명|arXiv (Cornell University)|2016. 08. 29.

Human Pose and Action Recognition참고 문헌 11인용 수 82

한 줄 요약

이 논문은 3D-CNN 특징(C3D)을 사용하여 잘리지 않은 영상에서 시간 활동 검출을 위한 단순하면서도 효과적인 파이프라인을 제안한다. 이는 LSTM 유닛을 갖는 RNN에 입력되어 활동을 분류하고 국소화한다. 이 방법은 ActivityNet Challenge 2016에서 분류 작업에 대해 0.5874 mAP, 검출 작업에 대해 0.2237 mAP의 성능을 기록하였으며, 후처리를 통해 스무딩과 임계값 설정을 통해 국소화 정확도를 향상시켰다.

ABSTRACT

This thesis explore different approaches using Convolutional and Recurrent Neural Networks to classify and temporally localize activities on videos, furthermore an implementation to achieve it has been proposed. As the first step, features have been extracted from video frames using an state of the art 3D Convolutional Neural Network. This features are fed in a recurrent neural network that solves the activity classification and temporally location tasks in a simple and flexible way. Different architectures and configurations have been tested in order to achieve the best performance and learning of the video dataset provided. In addition it has been studied different kind of post processing over the trained network's output to achieve a better results on the temporally localization of activities on the videos. The results provided by the neural network developed in this thesis have been submitted to the ActivityNet Challenge 2016 of the CVPR, achieving competitive results using a simple and flexible architecture.

연구 동기 및 목표

• 잘리지 않은 영상에서 활동을 분류하고 시간적으로 국소화하는 데 도전하는 문제를 해결하기 위해.
• 영상 시퀀스에서 공간적 및 시간적 특징을 활용하는 단순한 엔드 투 엔드 학습 가능한 프레임워크를 개발하기 위해.
• RNN 출력 시퀀스를 개선하는 후처리 기법을 통해 검출 성능을 향상시키기 위해.
• 분류 및 시간 국소화 작업 모두에서 ActivityNet Challenge 2016 벤치마크에서 경쟁 가능한 성능을 달성하기 위해.

제안 방법

• 잘리지 않은 영상의 16프레임 클립에서 4096차원 C3D fc6 특징을 추출하고, 입력을 위해 171×128 크기로 리사이징한다.
• C3D 특징의 시퀀스를 스택드된 LSTM 네트워크에 입력하여 시퀀스 모델링 및 시간적 의존성 학습을 수행한다 (드롭아웃 비율 p=0.5).
• 각 16프레임 클립에 대해 클래스 확률을 출력하기 위해 최종 소프트맥스 레이어를 사용하며, 배경 클래스 포함 총 K+1개의 클래스를 가진다.
• 예측된 활동 확률 시퀀스의 노이즈를 줄이기 위해 시간에 따라 평균 필터(k=5)를 적용하여 스무딩한다.
• 활동 확률이 γ 이상인 클립만 유지하고, 예측된 클래스로 레이블을 부여한다.
• 최종 영상 수준의 클래스를 모든 클립의 평균 확률 중 최대값을 가진 클래스로 할당한다.

실험 결과

연구 질문

• RQ1 사전에 추출된 C3D 특징를 사용하는 단순한 RNN 기반 아키텍처가 영상 분류 및 시간 활동 검출 모두에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 스무딩과 임계값 설정을 포함한 후처리 기법이 활동 예측의 국소화 정확도에 어떤 영향을 미치는가?
• RQ3 잘리지 않은 영상의 활동 검출에서 성능와 일반화 능력의 균형을 고려할 때 최적의 RNN 아키텍처(층수 및 뉴런 수)는 무엇인가?
• RQ4 데이터셋의 클래스 불균형이 모델 학습에 어떤 영향을 미치며, 이를 완화하기 위한 전략은 무엇인가?

주요 결과

• 단일층 512-LSTM 설정에서 분류 mAP가 0.5938로 가장 높았으며, 과적합이 줄어들어 더 깊은 아키텍처보다 우수한 성능을 보였다.
• 3x1024-LSTM 모델에서 Hit@3 점수가 0.7437로 가장 높아, 상위 3개 예측의 정확도가 뛰어났다.
• 평균 필터(k=5)와 임계값 γ=0.2를 적용한 후처리로 검출 mAP가 0.22513으로 상승하여 테스트된 구성 중 최고 성능을 기록했다.
• 최적의 후처리 파라미터는 γ=0.2와 k=5였으며, 이는 국소화에서 정밀도와 재현율의 최적 균형을 이뤘다.
• ActivityNet 2016 테스트 세트에서 검출 mAP가 0.2237로 나타나 시간 국소화 작업에서 뛰어난 성능을 입증했다.
• 결과적으로 C3D 특징와 RNN을 단순하게 조합한 파이프라인조차도 엔드 투 엔드 학습 없이도 경쟁 가능한 성능을 달성할 수 있음을 보여주었다.