[논문 리뷰] Predicting Parameters in Deep Learning

Misha Denil, Babak Shakibi외 3명|arXiv (Cornell University)|2013. 06. 03.

Neural Networks and Applications참고 문헌 23인용 수 704

한 줄 요약

이 논문은 가중치 행렬의 저질서 분해를 통해 딥 네ural 네트워크의 학습 가능한 파라미터 수를 극적으로 줄이는 방법을 제안한다. 구조적이고 부드러운 파arameterization을 통해 대부분의 가중치를 예측함으로써, 작고 학습 가능한 파라미터의 부분집합만을 학습하고 나머지 파라미터를 예측함으로써, 최적의 경우 정확도 저하 없이 95% 이상의 파라미터 예측을 달성한다. 이는 효율적인 단일 머신 학습과 분산 학습 오버헤드 감소를 가능하게 한다.

ABSTRACT

We demonstrate that there is significant redundancy in the parameterization of several deep learning models. Given only a few weight values for each feature it is possible to accurately predict the remaining values. Moreover, we show that not only can the parameter values be predicted, but many of them need not be learned at all. We train several different architectures by learning only a small number of weights and predicting the rest. In the best case we are able to predict more than 95% of the weights of a network without any drop in accuracy.

연구 동기 및 목표

• 모델 정확도를 훼손하지 않으면서 딥 네ural 네트워크의 동적 파라미터 수를 줄이는 것.
• 학습된 네트워크 가중치의 구조적 부족함을 저질서 행렬 곱으로 모델링하여 활용하는 것.
• 동기화해야 할 파라미터 수를 최소화함으로써 분산 학습에서의 협력 오버헤드를 줄이고 효율적인 단일 머신 학습을 가능하게 하는 것.
• 기존 딥 러닝 최적화 기법들(예: 드롭아웃, ReLU)과 수직적(orthogonal)인 일반 목적의 기법을 개발하는 것.
• 데이터 기반의 부드러운 사전 지식을 활용해 대부분의 네트워크 파라미터를 학습하는 대신 예측할 수 있음을 보여주는 것.

제안 방법

• 각 레이어의 가중치 행렬을 두 개의 더 작은 행렬의 저질서 곱으로 표현하며, 한 요소는 구조적 사전 지식(예: 부드러움)을 캡슐화하고 다른 요소는 학습 대상으로 한다.
• 랜덤으로 선택된 일부 가중치만을 동적으로 학습하고, 나머지 가중치는 고정된 구조적 요소를 통해 예측한다.
• 사전에 부드러움 구조가 제공되지 않을 경우 데이터 기반 접근법을 사용해 가중치 공간의 구조를 유추한다.
• 저질서 분해의 한 요소를 고정하여 부드러움 또는 구조적 제약 조건을 강제하고, 나머지 요소는 표준 최적화를 통해 학습한다.
• MLP, CNN, ICA 기반 모델 등 다양한 아키텍처에 대해 MNIST, CIFAR-10, STL-10 등의 데이터셋에서 이 방법을 적용한다.
• 학습 중에 동적으로 학습되는 파라미터와 한 번 예측하고 재사용되는 정적 파라미터를 구분함으로써 분산 시스템에서의 동기화 필요성을 줄인다.

실험 결과

연구 질문

• RQ1 소수의 학습 가능한 파라미터만으로 대부분의 딥 네트워크 가중치를 예측할 수 있는가?
• RQ2 정확도 저하 없이 얼마나 많은 학습 가능한 파라미터를 줄일 수 있는가?
• RQ3 고정된 구조적 요소를 가진 저질서 분해가 딥 네트워크의 본질적 표현 능력을 얼마나 잘 포괄하는가?
• RQ4 이 방법은 아키텍처 수정 없이 다양한 아키텍처와 데이터셋에 일반적으로 적용될 수 있는가?
• RQ5 파라미터 예측이 대규모 시스템에서 특히 분산 학습의 동기화 필요성을 줄이는가?

주요 결과

• 최적의 경우 이 방법은 정확도 저하 없이 네트워크 가중치의 95퍼센트 이상을 성공적으로 예측한다.
• 오직 10퍼센트의 가중치만 학습해도 성능 유지가 가능하며, 나머지 90퍼센트는 고정된 구조적 요소를 통해 예측된다.
• 이 방법은 기존 딥 러닝 기법들(예: 드롭아웃, ReLU, maxout)과 수직적이며 호환 가능하다.
• 동적 파라미터 수를 줄임으로써 분산 학습 프레임워크에서의 동기화 오버헤드를 크게 감소시킨다.
• 정적이고 사전 계산된 파라미터의 사용은 런타임에 걸쳐 머신 간 동기화가 필요 없기 때문에 효율적인 분포를 가능하게 한다.
• 이 방법은 MLP, CNN, ICA 기반 모델 등 다양한 아키텍처에서 여러 벤치마크 데이터셋에 걸쳐 일반화된다.