[논문 리뷰] Deep Fried Convnets

Zichao Yang, Marcin Moczulski외 5명|arXiv (Cornell University)|2014. 12. 22.

Advanced Neural Network Applications참고 문헌 36인용 수 17

한 줄 요약

이 논문은 완전히 연결된 레이어를 재매개변수화하는 미분 가능한 방법인 Adaptive Fastfood 변환을 소개한다. 이 방법은 매개변수 수를 O(nd)에서 O(n)으로, 계산량을 O(nd)에서 O(n log d)로 줄인다. 이 방법을 사용한 딥 프라이드 컨브넷은 MNIST 및 ImageNet에서 최신 기준 성능을 달성하며, 최대 55% 적은 매개변수를 사용한다. 이는 훈련 후에 수행하는 낮은 질서 분해 및 자르기 기법보다 뛰어난 성능을 발휘한다.

ABSTRACT

The fully connected layers of a deep convolutional neural network typically contain over 90% of the network parameters, and consume the majority of the memory required to store the network parameters. Reducing the number of parameters while preserving essentially the same predictive performance is critically important for operating deep neural networks in memory constrained environments such as GPUs or embedded devices. In this paper we show how kernel methods, in particular a single Fastfood layer, can be used to replace all fully connected layers in a deep convolutional neural network. This novel Fastfood layer is also end-to-end trainable in conjunction with convolutional layers, allowing us to combine them into a new architecture, named deep fried convolutional networks, which substantially reduces the memory footprint of convolutional networks trained on MNIST and ImageNet with no drop in predictive performance.

연구 동기 및 목표

• 예측 성능을 저하시키지 않은 채로 완전히 연결된 레이어의 매개변수 수를 줄이는 것.
• 매개변수 감소를 미분 가능하게 하여 압축된 네트워크의 엔드 투 엔드 훈련을 가능하게 하는 것.
• 낮은 계산 비용에도 불구하고 매개변수 수를 지배하는 큰 완전히 연결된 레이어의 비효율성을 해결하는 것.
• 대규모 시각 작업(예: ImageNet)에 대해 구조적 난수 투영이 효과적으로 적응 가능한지 탐색하는 것.
• 딥 러닝 환경에서 적응형 대비 비적응형 난수 투영의 성능를 비교하는 것.

제안 방법

• 완전히 연결된 레이어에서 행렬-벡터 곱셈의 미분 가능한 재매개변수화로 Adaptive Fastfood 변환을 제안한다.
• Fastfood 변환을 일반화하여 적응형 가중치를 허용함으로써 엔드 투 엔드 훈련을 가능하게 한다.
• 학습 가능한 매개변수를 가진 구조적 난수 투영을 사용하여 조밀한 가중치 행렬을 근사한다.
• 기본적인 컨볼루션 아키텍처의 완전히 연결된 레이어를 교체하기 위해 이 변환을 적용하여 '딥 프라이드 컨브넷'을 구성한다.
• 저장소를 O(nd)에서 O(n)으로, 계산량을 O(nd)에서 O(n log d)로 줄이는 매개변수 공유 기법을 적용한다.
• 훈련 파이프라인에 변환을 통합하여 컨볼루션 및 완전히 연결된 구성 요소를 함께 최적화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 미분 가능하고 구조적 난수 투영 방법이 완전히 연결된 레이어의 매개변수 수를 줄이되 모델 정확도를 저하시키지 않을 수 있는가?
• RQ2 ImageNet과 같은 대규모 데이터셋에서 Adaptive Fastfood의 성능는 비적응형 난수 투영보다 어떻게 다를까?
• RQ3 Adaptive Fastfood 변환을 사용한 엔드 투 엔드 훈련은 훈련 후 SVD 분해나 자르기 기법보다 더 좋은 결과를 낼 수 있는가?
• RQ4 출력 소프트맥스 레이어를 얼마나 압축해도 정확도 손실이 크지 않은가?
• RQ5 제안된 방법이 자원 제약 환경에서 대규모 모델의 효율적인 훈련과 구현을 가능하게 할 수 있는가?

주요 결과

• Adaptive Fastfood 변환을 사용한 딥 프라이드 컨브넷은 ImageNet에서 기준 모델(58.7M 매개변수) 대비 32.8M 매개변수로 55%의 매개변수 감소를 달성했으며, 상위 1위 정확도 오차는 0.14% 증가에 그쳤다.
• 훈련 후 SVD 분해 기법보다 성능이 뛰어나다: SVD-half-F는 매개변수를 46.6M로 줄였지만 오차는 42.73%로 증가했고, Adaptive Fastfood 32는 더 적은 매개변수로 41.93%의 오차를 유지했다.
• Adaptive Fastfood 32 모델의 최종 소프트맥스 레이어에 SVD를 적용하면 매개변수를 12.5M(20.3M로) 더 줄일 수 있었고, 이는 약 0.7%의 오차 증가를 수반했다.
• Adaptive Fastfood 16는 28%의 매개변수 감소(16.4M 매개변수)를 이룩했으며, 상위 1위 오차는 42.90%로 강력한 효율-정확도 트레이드오프를 보였다.
• ImageNet에서 적응형 버전은 비적응형 Fastfood보다 뚜렷이 뛰어나며, 대규모 시각 작업에 대해 투영 매개변수를 학습하는 것이 필수적임을 입증했다.
• 이 방법은 프리트레인된 모델에 대한 후처리 기법(예: 자르기 또는 SVD)과 달리, 훈련 시점에 상당한 매개변수 감소를 가능하게 한다.