[논문 리뷰] Learning Spatiotemporal Features with 3D Convolutional Networks

Du Tran, Lubomir Bourdev외 3명|arXiv (Cornell University)|2014. 12. 02.

Human Pose and Action Recognition참고 문헌 52인용 수 155

한 줄 요약

이 논문은 작은 $3\times3\times3$ 커널을 사용하여 비디오 클립으로부터 직접 공간시계열 특징을 학습하는 3D 합성곱 신경망인 C3D를 제안한다. 대규모 비디오 데이터셋으로 훈련된 C3D는 간단한 선형 분류기와 함께 다양한 비디오 분석 작업에 적합한 컴act하고 효율적이며 일반적인 비디오 표현을 제공하며, 여러 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a simple, yet effective approach for spatiotemporal feature learning using deep 3-dimensional convolutional networks (3D ConvNets) trained on a large scale supervised video dataset. Our findings are three-fold: 1) 3D ConvNets are more suitable for spatiotemporal feature learning compared to 2D ConvNets; 2) A homogeneous architecture with small 3x3x3 convolution kernels in all layers is among the best performing architectures for 3D ConvNets; and 3) Our learned features, namely C3D (Convolutional 3D), with a simple linear classifier outperform state-of-the-art methods on 4 different benchmarks and are comparable with current best methods on the other 2 benchmarks. In addition, the features are compact: achieving 52.8% accuracy on UCF101 dataset with only 10 dimensions and also very efficient to compute due to the fast inference of ConvNets. Finally, they are conceptually very simple and easy to train and use.

연구 동기 및 목표

• 다양한 비디오 분석 작업에 일반화되는 일반적이고 컴act하며 효율적인 비디오 기술자를 개발하기 위해.
• 2D ConvNets에 비해 3D ConvNets가 동시에 공간적 및 시간적 특징을 모델링하는 데 더 우수한 성능을 내는지 조사하기 위해.
• 3D ConvNets의 비디오 동작 인식에서 최적의 아키텍처 하이퍼파ram터—특히 커널 크기와 네트워크 깊이—를 규명하기 위해.
• 특수 작업에 맞춘 미세조정 없이도 다양한 벤치마크에서 단순한 선형 분류기와 함께 C3D 기술자가 얼마나 효과적인지 평가하기 위해.

제안 방법

• 대규모 감독 비디오 데이터셋에서 모든 레이어에 $3\times3\times3$ 합성곱 커널을 사용하여 3D ConvNet을 훈련한다.
• 공간적 및 시간적 합성을 사용하여 비디오 클립으로부터 외관과 운동 패턴을 동시에 학습한다.
• 고정 길이의 비디오 임베딩을 생성하기 위해 평균 풀링과 최종 완전 연결 레이어를 적용한다.
• 각 네트워크 깊이에서 학습된 특징 맵을 시각화하고 해석하기 위해 역합성곱 네트워크를 활용한다.
• 정확도, 파라미터 수, 훈련 시간 간의 상충 관계를 평가하기 위해 다양한 입력 해상도($64\times64$, $128\times128$, $256\times256$)로 모델을 훈련한다.
• 최종 풀링된 특징에 선형 분류기를 적용하여 하류 비디오 인식 작업에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 3D ConvNets는 2D ConvNets보다 비디오 동작 인식에 더 효과적인 공간시계열 특징을 학습할 수 있는가?
• RQ2 3D ConvNets가 비디오 특징을 학습할 때 최적의 커널 크기와 네트워크 깊이는 무엇인가?
• RQ3 입력 해상도는 3D ConvNets의 성능, 파라미터 수, 훈련 효율성에 어떤 영향을 미치는가?
• RQ4 단순한 선형 분류기가 C3D 기술자와 조합될 때 얼마나 높은 성능을 달성할 수 있는가?
• RQ5 C3D의 다양한 네트워크 레이어에서 학습된 필터는 어떤 종류의 운동 및 외관 패턴을 감지하는가?

주요 결과

• 3D ConvNets는 2D ConvNets보다 공간시계열 특징을 더 효과적으로 모델링함을 입증하였으며, $128\times128$ 입력 해상도에서 UCF101에서 3.1%의 정확도 향상을 보였다.
• 모든 레이어에 $3\times3\times3$ 커널을 사용하는 균일한 아키텍처가 가장 높은 성능을 달성하였으며, 더 크거나 혼합된 크기의 커널보다 우수했다.
• C3D는 단지 10차원의 특징만으로 UCF101에서 85.2%의 정확도를 달성하여 매우 컴act하고 효율적인 특징을 제공함을 보여주었다.
• UCF100 벤치마크에서 모든 가용한 특징(예: 옵티컬 플로우)을 사용할 경우 C3D는 이전 최신 기술 수준의 방법들을 능가하며 90.4%의 정확도를 달성했다.
• 역합성곱 시각화 결과, 초기 레이어는 낮은 수준의 운동 패턴(예: 움직이는 에지, 블롭)을 감지하는 반면, 더 깊은 레이어는 복잡한 동작(예: 자전거 타기, 원운동, 얼굴 표정)을 감지함을 확인하였다.
• 비교 그림 15를 통해 C3D 기술자는 옵티컬 플로우보다 더 선택적으로 작동하며, 모든 움직이는 픽셀이 아닌 주목할 만한 운동 패턴에만 집중함을 확인하였다.