[논문 리뷰] Beyond Short Snippets: Deep Networks for Video Classification

Joe Yue-Hei Ng, Matthew Hausknecht외 4명|arXiv (Cornell University)|2015. 03. 31.

Human Pose and Action Recognition참고 문헌 23인용 수 254

한 줄 요약

이 논문은 전체 영상 클립(최대 120 프레임, 약 2분)을 활용하여 영상 분류 성능을 향상시키기 위해 특별히 시간적 특징 풀링과 LSTM 기반 모델을 포함한 딥 네ural 네트워크 아키텍처를 제안한다. CNN로 처리한 프레임 특징과 옵티컬 플로우를 결합하고 장거리 시간적 의존성을 모델링함으로써, UCF-101(88.6%)과 Sports-1M(73.1%) 벤치마크에서 최신 기술을 초월하는 성능을 달성한다. 이는 이전 방법들이 사용한 짧은 스니펫 대비 뚜렷한 성능 향상을 보인다.

ABSTRACT

Convolutional neural networks (CNNs) have been extensively applied for image recognition problems giving state-of-the-art results on recognition, detection, segmentation and retrieval. In this work we propose and evaluate several deep neural network architectures to combine image information across a video over longer time periods than previously attempted. We propose two methods capable of handling full length videos. The first method explores various convolutional temporal feature pooling architectures, examining the various design choices which need to be made when adapting a CNN for this task. The second proposed method explicitly models the video as an ordered sequence of frames. For this purpose we employ a recurrent neural network that uses Long Short-Term Memory (LSTM) cells which are connected to the output of the underlying CNN. Our best networks exhibit significant performance improvements over previously published results on the Sports 1 million dataset (73.1% vs. 60.9%) and the UCF-101 datasets with (88.6% vs. 88.0%) and without additional optical flow information (82.6% vs. 72.8%).

연구 동기 및 목표

• 짧은 영상 스니펫에 의존하는 대신 전체 영상에서 장거리 시간적 의존성을 모델링하여 영상 분류 성능을 향상시키는 것.
• 긴 프레임 시퀀스에서 학습된 글로벌 영상 수준의 표현이, 프레임 수준의 집계 방식보다 더 높은 성능을 낼 수 있는지 조사하는 것.
• 딥 러닝 아키텍처와 결합할 때 옵티컬 플로우를 명시적인 운동 인코딩으로 사용할 경우의 효과를 평가하는 것.
• 특징 풀링과 순환 아키텍처(LSTM)가 영상 내 시간적 변화를 포착하는 데 있어 성능을 비교하는 것.
• 낮은 프레임 레이트(1 fps)를 사용하여 계산 비용을 줄일 수 있는지, 동시에 정확도를 유지할 수 있는지 확인하는 것.

제안 방법

• 계산 비용을 줄이기 위해 1 fps로 영상 프레임을 처리함으로써 효율성을 유지하면서도 시간적 맥락을 유지하는 방식.
• 각 프레임에서 공간적 특징을 추출하기 위해 2D CNN을 사용하고, 이후 시간적 특징 풀링(예: 최대 풀링)을 통해 프레임 수준의 특징을 글로벌 영상 기술자로 집계하는 방식.
• 시간에 따라 변화하는 LSTM 히든 상태를 통해 장거리 시간적 동적 특성을 포착하기 위해 장기 기억 순환 네트워크(LSTM)를 사용하는 방식.
• 풀링 및 LSTM 모델의 입력으로 이미지 프레임 특징과 옵티컬 플로우 맵을 결합하여 운동 정보를 명시적으로 인코딩하는 방식.
• 작은 네트워크를 점진적으로 확장하고 미세조정함으로써, 짧은 클립이 필요 없이 전체 영상에서 엔드 투 엔드 학습이 가능하도록 모델을 훈련하는 방식.
• 상위 레벨의 LSTM 레이어에서는 시간에 따른 backpropagation를 적용하지만, CNN 레이어에는 적용하지 않아 기울기 흐름을 순환 구성 요소로 국한하는 방식.

실험 결과

연구 질문

• RQ1 최대 120 프레임까지의 전체 영상에서 훈련된 딥 네트워크가 짧은 영상 스니펫만을 사용하는 모델에 비해 영상 분류 정확도를 뚜렷이 향상시킬 수 있는가?
• RQ2 옵티컬 플로우를 명시적인 운동 인코딩으로 사용할 경우, 특히 LSTMs와 같은 순환 아키텍처와 조합했을 때 성능 향상이 이루어지는가?
• RQ3 옵티컬 플로우를 사용할 경우, 1 fps로 프레임 레이트를 낮추면 분류 성능에 어떤 영향을 미치는가?
• RQ4 장거리 시간적 의존성을 포착하는 데 있어 순환 모델(LSTM)이 간단한 시간적 풀링 방법보다 성능이 뛰어나지 않는가?
• RQ5 옵티컬 플로우의 이점은 영상 품질에 따라 달라지며, 특히 Sports-1M 데이터셋과 같은 노이즈가 많거나 정제되지 않은 영상에서는 효과가 유지되는가?

주요 결과

• 제안된 LSTM 기반 모델은 UCF-101에서 88.6%의 정확도를 달성하여, SVM를 사용한 이중 스트림 융합 방식으로 이전 최고 성능인 88.0%를 초월한다.
• 120 프레임과 옵티컬 플로우를 사용한 모델은 UCF-101에서 88.2%의 정확도를 기록했으며, 단일 프레임 CNN 기반 베이스라인(73.0%)에 비해 뚜렷한 성능 향상을 보였다.
• Sports-1M 데이터셋에서 옵티컬 플로우를 사용한 LSTM 모델은 73.1%의 정확도를 달성하여, 이전 최고 성능인 60.9%에 비해 상당한 향상을 이룬다.
• 옵티컬 플로우의 성능 향상 효과는 UCF-101(82.6% 대 88.2%)에서 Sports-1M보다 더 크며, 이는 더 나은 영상 품질과 더 일관된 동작 콘텐츠 때문일 수 있다.
• 노이즈가 많은 옵티컬 플로우 맵이라도 LSTM 모델은 여전히 운동 정보의 이점을 얻을 수 있어, 낮은 품질의 운동 특징에 대해서도 강건함을 입증한다.
• 충분한 시간적 맥락이 유지된다면, 옵티컬 플로우와 함께 1 fps로 프레임 레이트를 낮춰도 성능 저하가 발생하지 않는다.