[논문 리뷰] Distilling Reverse-Mode Automatic Differentiation (DrMAD) for Optimizing Hyperparameters of Deep Neural Networks

Jie Fu, Hongyin Luo외 2명|arXiv (Cornell University)|2016. 01. 05.

Gaussian Processes and Bayesian Inference참고 문헌 26인용 수 8

한 줄 요약

이 논문은 깊이 있는 신경망의 초기화 파라미터를 역방향 자동 미분을 사용하여 최적화하기 위해 메모리 소비를 크게 줄인 DrMAD를 제안한다. 전방 전파를 단순화된 경로로 요약하여 역방향 경로를 근사함으로써 DrMAD는 수십만 개의 파라미터에 걸쳐 효율적인 초기화 파라미터 튜닝을 가능하게 하며, 정확한 방법과 거의 동일한 성능를 달성하면서도 메모리 사용을 수십만 배 이상 줄였다.

ABSTRACT

The performance of deep neural networks is sensitive to the setting of their hyperparameters (e.g. L2-norm panelties). Recent advances in reverse-mode automatic differentiation have made it possible to optimize hyperparameters with gradients. The standard way of computing these gradients involves a forward and backward pass, which is similar to its cousin, back-propagation, used for training weights of neural networks. However, the backward pass usually needs to exactly reverse a training procedure, starting from the trained parameters and working back to the initial random ones. This incurs unaffordable memory consumption as it needs to store all the intermediate variables. Here we propose to distill the knowledge of the forward pass into an shortcut path, through which we approximately reverse the training trajectory. Experiments carried out on MNIST dataset show that our approach reduces memory consumption by orders of magnitude without sacrificing its effectiveness. Our method makes it feasible, for the first time, to automatically tune hundreds of thousands of hyperparameters of deep neural networks in practice.

연구 동기 및 목표

• 역방향 자동 미분에서 백프로파게이션 동안 모든 중간 변수를 저장해야 하는 고비용 메모리 문제를 해결하기 위해.
• 메모리 소비를 줄이되 최적화 효과성을 손상시키지 않고, 깊이 있는 신경망에서 실용적이고 대규모의 초기화 파라미터 튜닝을 가능하게 하기 위해.
• 전체 학습 히스토리 저장이 필요 없도록, 정제된 전방 전파를 사용해 역방향 경로를 근사하는 방법을 개발하기 위해.
• 수십만 개의 초기화 파라미터를 가진 복잡한 모델에 대해 종단 간 초깃값 최적화를 실현 가능하게 하기 위해.

제안 방법

• 이 방법은 전체 학습 과정의 행동을 모방하도록 학습되는 정제된 전방 전파를 도입하여, 근사적인 역방향 계산을 위한 단순화된 경로를 생성한다.
• 이 정제된 경로는 최종 학습된 가중치에서 원래의 입력 파라미터를 재구성하도록 훈련되어, 전방 학습 역학의 역함수를 효과적으로 학습한다.
• 그 후, 이 정제된 모델을 사용해 역방향 전파를 근사함으로써 원래 전방 전파의 중간 활성값을 저장할 필요가 없어진다.
• 이 방법은 정제된 모델이 전체 전방 전파로부터 학습함으로써 효율적인 기울기 계산을 가능하게 하는 지식 정제 원리를 활용한다.
• 이 방법은 표준 역방향 자동 미분의 정확성을 유지하면서도 메모리 소비를 수십만 배 이상 줄인다.

실험 결과

연구 질문

• RQ1 중간 변수를 저장하지 않고도 지식 정제를 사용해 초깃값 최적화에서 역방향 전파를 근사할 수 있는가?
• RQ2 정제된 전방 전파 모델이 초깃값 최적화를 위한 역방향 자동 미분에서 정확한 역방향 전파를 얼마나 잘 대체할 수 있는가?
• RQ3 정제된 역방향 계산을 사용할 경우, 메모리 효율성과 최적화 정확성 사이의 상호 교환 관계는 어떠한가?
• RQ4 이 방법은 깊이 있는 신경망에서 수십만 개의 초깃값 파라미터를 튜닝하는 데 스케일링 가능한가?

주요 결과

• DrMAD는 표준 역방향 자동 미분 대비 메모리 소비를 수십만 배 이상 줄여 대규모 초깃값 최적화를 실현 가능하게 했다.
• 이 방법은 정확한 역방향 자동 미분와 비교해 유사한 최적화 효과를 달성했으며, MNIST 데이터셋에서 성능에 유의미한 손실가 없었다.
• 정제된 모델은 성공적으로 역방향 경로를 근사하여 중간 활성값을 저장하지 않고도 기울기 계산을 가능하게 했다.
• 이 방법은 수십만 개의 초깃값 파라미터를 실질적으로 자동 튜닝할 수 있도록 한 최초의 방법이었다.