[논문 리뷰] Data-dependent Initializations of Convolutional Neural Networks

Philipp Krähenbühl, Carl Doersch외 2명|arXiv (Cornell University)|2015. 11. 21.

Neural Networks and Applications인용 수 90

한 줄 요약

이 논문은 훈련 데이터의 통계적 성질을 기반으로 네트워크 가중치를 스케일링하여 각 레이어 간에 균일한 기울기 흐름을 보장하는, 컨볼루션 신경망(CNN)을 위한 데이터 의존적 초기화 방법을 제안한다. 활성화 통계를 분석하고 레이어별로 재스케일링을 적용함으로써, 훈련 수렴 속도를 가속화하고 이미지 분류 및 객체 검출 작업에서 최신의 자기지도 학습(pre-training) 성능을 도달하거나 초월한다. 이는 사전 훈련 시간을 최대 1,000배 감소시키며, 소규모 데이터셋에서의 일반화 성능을 향상시킨다.

ABSTRACT

Convolutional Neural Networks spread through computer vision like a wildfire, impacting almost all visual tasks imaginable. Despite this, few researchers dare to train their models from scratch. Most work builds on one of a handful of ImageNet pre-trained models, and fine-tunes or adapts these for specific tasks. This is in large part due to the difficulty of properly initializing these networks from scratch. A small miscalibration of the initial weights leads to vanishing or exploding gradients, as well as poor convergence properties. In this work we present a fast and simple data-dependent initialization procedure, that sets the weights of a network such that all units in the network train at roughly the same rate, avoiding vanishing or exploding gradients. Our initialization matches the current state-of-the-art unsupervised or self-supervised pre-training methods on standard computer vision tasks, such as image classification and object detection, while being roughly three orders of magnitude faster. When combined with pre-training methods, our initialization significantly outperforms prior work, narrowing the gap between supervised and unsupervised pre-training.

연구 동기 및 목표

• 깊은 CNN을 처음부터 훈련할 때 수렴이 불량하고 기울기 소실/폭발 문제가 발생하는 문제를 해결하기 위해.
• 소규모 데이터셋에서 일반화 성능에 크게 영향을 주는 활성화의 데이터 기반 통계적 성질을 규명하기 위해.
• 사전 훈련이나 아키텍처 수정 없이도 더 빠르고 안정적인 훈련을 가능하게 하는 단순하고 빠른 초기화 방법을 개발하기 위해.
• 제한된 레이블이 있는 다운스트림 작업을 위해 ImageNet 사전 훈련에 대한 의존도를 줄이기 위해.

제안 방법

• 소규모 훈련 데이터 배치에서 특징 맵의 평균과 표준편차를 계산하여 각 레이어의 활성화 통계를 추정한다.
• 모든 레이어에서 출력 활성화 분산이 근사적으로 동일하도록 각 컨볼루션 레이어의 가중치를 재스케일링한다.
• 입력 통계에 기반해 가중치 행렬의 스케일을 조정하여 기울기 노름이 레이어 간에 약간 균일하도록 초기화를 강제한다.
• 특징 맵의 k-means 클러스터링을 사용하여 유효 수신장( receptive field)을 추정하고 각 레이어의 스케일링 요소를 정밀하게 조정한다.
• 단일 훈련 데이터 서브셋에 대해 한 번의 순방향 전파만으로 적용 가능하므로 계산적으로 효율적이다.
• 역전파나 추가 손실 항목이 필요 없어 어떤 CNN 아키텍처와도 호환된다.

실험 결과

연구 질문

• RQ1 사전 훈련 없이도 데이터 기반 초기화가 CNN의 훈련 수렴과 일반화 성능을 향상시킬 수 있는가?
• RQ2 특징 활성화의 통계적 성질이 파인튜닝 중 기울기 흐름과 모델 성능에 어떻게 영향을 주는가?
• RQ3 단순하고 빠른 초기화 방법이 복잡한 자기지도 학습 사전 훈련 방법의 성능을 도달하거나 초월할 수 있는가?
• RQ4 데이터 의존적 초기화가 저데이터 환경에서 ImageNet 사전 훈련이 필요한 정도를 줄일 수 있는가?
• RQ5 이 방법이 보조 분류기와 같은 아키텍처 수정 없이도 더 깊은 네트워크의 안정적 훈련을 가능하게 하는가?

주요 결과

• 제안된 초기화 방법은 사전 훈련 시간을 3개의 지수만큼 감소시켜 단 54초로 줄였으며, PASCAL VOC2007 이미지 분류에서 최상위 1위 정확도 56.6%를 달성하여 최신 자기지도 학습 방법과 동등한 성능을 보였다.
• Doersch 등(2015)의 비지도 사전 훈련과 조합할 경우, PASCAL VOC2007 객체 검출에서 mAP 65.3%를 기록하여 이전 연구를 초월했다.
• ImageNet에서 이 방법은 초기 훈련 단계에서 수렴 속도를 최대 10배 가속화했으며, 표준 초기화보다 첫 10,000개의 반복 동안 오차 감소 속도가 더 빠르게 나타났다.
• k-means 기반 초기화는 무작위 초기화보다 성능이 뛰어나며, 10만 번째 반복 이후에는 기준 ImageNet 사전 훈련 모델과 유사한 성능을 달성했다.
• CaffeNet에서 LRN 레이어를 제거해도 제안된 초기화 방법을 사용할 경우 성능 저하가 발생하지 않아, 적절한 가중치 스케일링이 이루어지면 정규화 레이어가 부용할 수 있음을 시사했다.
• GoogLeNet에서는 보조 헤드가 없는 단일 분류기로도 훈련이 가능했으며, 원래의 세 개 헤드 아키텍처와 유사한 수렴 속도를 기록하여 깊은 네트워크에서의 강건성을 입증했다.