[논문 리뷰] Learning Compact Convolutional Neural Networks with Nested Dropout

Chelsea Finn, Lisa Anne Hendricks외 1명|arXiv (Cornell University)|2014. 12. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 4인용 수 3

한 줄 요약

이 논문은 훈련 중 정보 내용에 따라 필터를 순서화함으로써 임의로 압축된, 작업 적응형 합성곱 신경망 아키텍처를 학습하는 데에 내재된 드롭아웃을 제안한다. 점진적으로 고인덱스 필터를 제거하기 위해 기하분포에서 수치를 추출함으로써, 네트워크는 최적의 필터 수(예: conv1에 대해 23)를 최소한의 훈련 반복 수로 식별한다. 이로 인해 전체 네트워크와 유사한 정확도를 달성하면서도 파라미터를 25% 감소시킨다.

ABSTRACT

Recently, nested dropout was proposed as a method for ordering representation units in autoencoders by their information content, without diminishing reconstruction cost. However, it has only been applied to training fully-connected autoencoders in an unsupervised setting. We explore the impact of nested dropout on the convolutional layers in a CNN trained by backpropagation, investigating whether nested dropout can provide a simple and systematic way to determine the optimal representation size with respect to the desired accuracy and desired task and data complexity.

연구 동기 및 목표

• 내재된 드롭아웃이 이전에는 오토인코더에서만 사용되었지만, backpropagation로 훈련되는 CNN의 합성곱 레이어에 효과적으로 적용될 수 있는지 조사하는 것.
• 데이터 및 작업 복잡도에 기반한 최적의 네트워크 용량을 체계적으로 결정하는 방법을 개발하는 것.
• 수동 하이퍼파rameter 튜닝 없이도 합성곱 레이어에서 필터 수를 자동으로 점진적으로 학습하는 것.
• 내재된 드롭아웃이 브루트포스 탐색보다 적은 훈련 반복 수로 압축되고 높은 정확도를 가지는 모델을 생성할 수 있음을 보여주는 것.

제안 방법

• 내재된 드롭아웃은 기하분포에서 수치 k를 추출하여 인덱스 k+1부터 n까지의 모든 필터를 제거함으로써 합성곱 레이어에 적용된다. 첫 번째 k+1개 필터는 유지된다.
• 필터는 반복적으로 훈련된다: 고정된 반복 수 후에 스위핑 인덱스가 증가하고, 이후 추출에서는 오직 남아있는 필터들만 고려된다.
• 이 방법은 Caffe에 구현되어, 어떤 레이어(예: 합성곱 또는 완전연결 레이어) 뒤에 오는 사용자 정의 내재된 드롭아웃 레이어를 추가함으로써 작동하며, 솔버와 통합되어 유닛 스위핑을 지원한다.
• 이 접근법은 점진적인 용량 스케일링을 가능하게 한다: 낮은 인덱스를 가진 필터들이 먼저 수렴하고 고정되며, 높은 인덱스의 필터들은 점차적으로 제거된다.
• 과정은 레이어별로 적용된다: 먼저 conv1에 최적의 필터 수를 결정하고, 그 다음 내재된 드롭아웃을 사용하여 conv2의 필터를 결정한다.
• 훈련 과정은 미니배치 크기가 100인 확률적 경사 하강법을 사용하며, 필터 제거는 고정된 반복 수가 아닌 수렴 기반으로 이루어진다.

실험 결과

연구 질문

• RQ1 내재된 드롭아웃이 백프로파게이션으로 훈련되는 CNN의 합성곱 레이어에 성공적으로 적용되어 압축된 표현을 학습할 수 있는가?
• RQ2 내재된 드롭아웃이 주어진 작업과 데이터 복잡도에 대해 최적의 필터 수를 자동으로 결정할 수 있는가?
• RQ3 브루트포스 하이퍼파rameter 탐색에 비해 내재된 드롭아웃이 필요한 훈련 반복 수를 줄일 수 있는가?
• RQ4 내재된 드롭아웃으로 훈련된 네트워크의 성능은 모든 필터를 포함한 전체 네트워크와 무작위로 선택된 필터를 가진 프루닝된 네트워크와 비교해 어떻게 되는가?
• RQ5 내재된 드롭아웃은 높은 정확도를 유지하면서도 모델 파라미터를 줄이는 최소한의 필터 집합을 식별할 수 있는가?

주요 결과

• 내재된 드롭아웃 네트워크는 conv1에서 오직 23개의 필터로 최대 테스트 정확도를 달성했으며, 이는 32개의 별도 네트워크를 훈련해야 하는 브루트포스 접근 방식보다 뛰어난 성능을 보였다.
• 내재된 드롭아웃 모델은 conv1에 23개의 필터를 사용하여 0.787의 테스트 정확도를 달성했으며, 이는 전체 32개 필터 기반 기준 모델의 0.786 정확도와 유사했다.
• 내재된 드롭아웃을 사용한 훈련은 90,000회의 반복만으로 이루어졌고, 브루트포스 탐색에서 32개의 별도 네트워크를 훈련하기 위해 필요한 2,880,000회의 반복보다 훨씬 적었다.
• conv1과 conv2에 모두 내재된 드롭아웃을 적용함으로써 첫 두 레이어의 총 파라미터 수가 25% 감소했으며, 필터 수는 64개에서 48개로 줄었다.
• 시각화 결과는 내재된 드롭아웃 네트워크에서 높은 인덱스를 가진 필터들이 최소한의 정보를 지니고 있음을 확인했으며, 성능 유지를 위해 오직 첫 23개 필터만이 필수적임을 입증했다.
• 5,000회의 반복 후, conv2에서 25개의 필터가 78%의 훈련 정확도로 학습되었으며, 이는 네트워크가 압축되고 효과적인 아키텍처로 수렴할 수 있음을 시사한다.