[논문 리뷰] Initialization Strategies of Spatio-Temporal Convolutional Neural Networks

Elman Mansimov, Nitish Srivastava외 1명|arXiv (Cornell University)|2015. 03. 25.

Human Pose and Action Recognition참고 문헌 18인용 수 27

한 줄 요약

이 논문은 2D ImageNet 가중치를 전이하여 Spatio-Temporal ConvNets의 3D 합성곱 레이어에 대한 새로운 초기화 전략을 제안함으로써, 처음부터 훈련하지 않고도 시간적 표현을 효율적으로 학습할 수 있도록 한다. 최고의 성능을 보인 방법인 음수 가중치 초기화(NWI)는 UCF-101에서 73.9%의 정확도를 달성했으며, 표준 공간 합성곱 네트워크를 능가했고, 광학 흐름 스트림과 융합했을 때는 거의 최신 기술 수준인 85.3%의 성능을 기록함.

ABSTRACT

We propose a new way of incorporating temporal information present in videos into Spatial Convolutional Neural Networks (ConvNets) trained on images, that avoids training Spatio-Temporal ConvNets from scratch. We describe several initializations of weights in 3D Convolutional Layers of Spatio-Temporal ConvNet using 2D Convolutional Weights learned from ImageNet. We show that it is important to initialize 3D Convolutional Weights judiciously in order to learn temporal representations of videos. We evaluate our methods on the UCF-101 dataset and demonstrate improvement over Spatial ConvNets.

연구 동기 및 목표

• UCF-101과 같은 작은 영상 데이터셋에서 Spatio-Temporal ConvNets를 훈련할 때, 처음부터 훈련하면 과적합과 높은 계산 비용이 발생하는 문제를 해결하기 위해.
• 처음부터 재학습하지 않고도 ImageNet으로 사전 훈련된 2D 합성곱 네트워크의 공간 특징을 3D 합성곱 네트워크로 효과적으로 전이하여 영상 행동 인식 성능을 향상시키기 위해.
• 다양한 3D 합성곱 가중치 초기화 방법이 영상 시퀀스에서 의미 있는 시간적 표현을 학습하는 데 모델의 능력에 미치는 영향을 조사하기 위해.
• 유능한 가중치 초기화와 Composite LSTM 모델과의 융합을 통해 UCF-101에서 분류 정확도를 향상시키기 위해.

제안 방법

• 사전 훈련된 2D 합성곱 가중치에서 유도된 네 가지 3D 합성곱 커널 초기화 전략을 제안: 평균화(IA), 스케일링(IS), 영수초기화(ZWI), 음수 가중치 초기화(NWI).
• 초기화 시점에 ∑ₜ W³ᴰₜ = W²ᴰ 를 만족시켜 원래 2D 레이어의 출력 범위를 유지함으로써 초기화의 정확성을 보장함.
• 3D 커널의 모든 시간 하위 행렬의 합이 원래 2D 가중치 행렬과 같아지도록 제약 조건을 설정하여 활성화 안정성을 유지함.
• 라벨이 부여된 UCF-101과 라벨이 없는 Sports-1M 데이터를 모두 사용해 훈련한 복합 LSTM 네트워크를 활용하여 시간적 시퀀스 표현을 학습함.
• NWI로 초기화된 Spatio-Temporal ConvNet의 소프트맥스 확률과 복합 LSTM 모델의 확률을 평균 내어 성능을 향상시킴.
• RGB 기반의 NWI + 복합 LSTM 모델과 광학 흐름 기반 모델을 융합한 이중 스트림 모델로 접근을 확장하여 최신 기술 수준의 성능을 달성함.

실험 결과

연구 질문

• RQ1 Spatio-Temporal ConvNets에서 3D 합성곱 가중치 초기화 전략의 선택이 시간적 표현 학습에 어떤 영향을 미치는가?
• RQ2 사전 훈련된 2D ImageNet 가중치를 3D ConvNets로 효과적으로 전이하여 작은 데이터셋에서의 영상 행동 인식 정확도를 향상시킬 수 있는가?
• RQ3 균일하거나 음수 값으로 초기화된 3D 커널이 대칭적이거나 평균 기반 방법에 비해 시간적 특징 학습에 더 나은 성능을 내는가?
• RQ4 2D 가중치에서 유도된 3D ConvNet에 시간 모델링 요소(예: 복합 LSTM)를 융합할 경우, 대규모 영상 데이터셋에서 훈련된 모델의 성능을 따라하거나 능가할 수 있는가?

주요 결과

• 음수 가중치 초기화(NWI)는 UCF-101에서 73.9%의 정확도를 기록하여 기준 공간 합성곱 네트워크(71.8%)와 다른 초기화 방법보다 뚜렷이 높은 성능을 보였음.
• 모든 하위 행렬을 0으로 설정하고 하나의 하위 행렬만 유지하는 ZWI 초기화 방법은 73.3%의 정확도를 기록하여 비대칭 초기화가 시간 역학을 학습하는 데 도움이 된다는 것을 시사함.
• 시간에 따라 균일하게 또는 비례적으로 가중치를 분배하는 IA 및 IS 방법은 각각 72.0%와 72.4%의 정확도를 기록하여 대칭 초기화가 시간 표현 학습 능력을 제한한다는 것을 시사함.
• NWI로 초기화된 RGB 모델과 광학 흐름 기반 이중 스트림 모델을 융합한 결과, UCF-101에서 85.3%의 정확도를 달성하여 개별 모델을 능가했고 최신 기술 수준에 가까운 성능을 기록함.
• 이중 스트림 융합 모델은 더 적은 아키텍처 트릭과 추가 데이터 증강 없이도, 최고의 알려진 방법들(예: ConvNet Features + iDT, 89.7%)과 유사한 성능을 달성함.