[논문 리뷰] DrMAD: Distilling Reverse-Mode Automatic Differentiation for Optimizing Hyperparameters of Deep Neural Networks

Jie Fu, Hongyin Luo외 3명|arXiv (Cornell University)|2016. 01. 05.

Advanced Neural Network Applications참고 문헌 19인용 수 11

한 줄 요약

DrMAD는 깊이 있는 신경망의 초기화 파라미터 최적화를 위한 메모리 효율적인 방법을 제안한다. 정확한 역방향 미분을 이용한 방법에 비해 메모리 사용량을 최대 100,000배까지 줄일 수 있으며, GPU에서의 학습을 가능하게 하여 MNIST 및 Omniglot 데이터셋에서 최신 기술 대비 빠른 속도와 높은 효율성을 달성하면서 성능 저하를 최소화한다.

ABSTRACT

The performance of deep neural networks is well-known to be sensitive to the setting of their hyperparameters. Recent advances in reverse-mode automatic differentiation allow for optimizing hyperparameters with gradients. The standard way of computing these gradients involves a forward and backward pass of computations. However, the backward pass usually needs to consume unaffordable memory to store all the intermediate variables to exactly reverse the forward training procedure. In this work we propose a simple but effective method, DrMAD, to distill the knowledge of the forward pass into a shortcut path, through which we approximately reverse the training trajectory. Experiments on several image benchmark datasets show that DrMAD is at least 45 times faster and consumes 100 times less memory compared to state-of-the-art methods for optimizing hyperparameters with minimal compromise to its effectiveness. To the best of our knowledge, DrMAD is the first research attempt to make it practical to automatically tune thousands of hyperparameters of deep neural networks. The code can be downloaded from https://github.com/bigaidream-projects/drmad

연구 동기 및 목표

• 깊이 있는 신경망의 초기화 파라미터 최적화에서 정확한 역방향 자동 미분의 과도한 메모리 비용 문제를 해결한다.
• 모든 중간 변수를 저장하지 않고도 역방향 전파를 근사함으로써 수천 개의 연속형 초기화 파라미터에 대한 실용적이고 확장 가능한 초기화 파라미터 최적화를 가능하게 한다.
• 베이지안 최적화나 기울기 기반 최적화 방법이 약 20개 이하의 유효한 초기화 파라미터를 초월할 수 없는 확장성 문제를 해결한다.
• 초기화 파라미터 서버를 활용한 분산 초기화 파라미터 최적화를 지원하는 프레임워크를 개발하여 초기화 파라미터 탐색의 확장성과 다양성을 향상시킨다.
• 지식 증류를 통한 근사 역방향 계산이 계산 오버헤드를 극적으로 줄이면서도 높은 최적화 효과를 유지하는지 입증한다.

제안 방법

• 스토캐스틱 그래디언트 하강법(SGD)의 역경로를 근사하는 단순 경로를 통해 중간 활성값을 모두 저장할 필요 없이 역방향 전파를 근사한다.
• 메인 네트워크의 전방향 전파 동안 행동을 모방할 수 있도록 경량 보조 모델을 훈련시켜, 전체 역방향 전파 재구성 없이도 초깃값에 대한 기울기 계산을 효율적으로 수행한다.
• 지식 증류를 통해 전체 훈련 과정에서의 지식을 증류된 역방향 경로로 이전하여 정확한 초깃값 기울기 추정을 보장한다.
• 증류된 역방향 경로를 메타 최적화 루프에 통합하여 단순 경로를 통해 계산된 초깃값 기울기를 사용해 초깃값을 업데이트한다.
• 여러 클라이언트가 독립적으로 초깃값을 최적화하고 결과를 집계하는 초깃값 서버 프레임워크를 설계하여 다양성과 수렴 성능를 향상시킨다.
• 모델 크기와 훈련 길이에 관계없이 최종 수렴된 모델 상태에만 의존함으로써 메모리 비용을 모델 크기와 훈련 기간에서 분리한다.

실험 결과

연구 질문

• RQ1 모든 중간 활성값을 저장하지 않고도 깊이 학습에서 스토캐스틱 그래디언트 하강법의 역방향 전파를 근사할 수 있는가? 이는 메모리 소비를 줄이는 데 기여하는가?
• RQ2 전방향 전파에서의 지식 증류가 초깃값 최적화를 위한 정확한 초깃값 기울기 계산을 얼마나 잘 가능하게 하는가?
• RQ3 정확한 역방향 자동 미분 대비 메모리 효율성에서 수십만 배 향상된 DrMAD 방법이 최적화 효과를 유지하는가?
• RQ4 DrMAD는 현대 GPU 하드웨어에서 대규모 데이터셋을 대상으로 수천 개의 초깃값을 실질적으로 최적화할 수 있는가?
• RQ5 초깃값 서버 프레임워크는 분산 초깃값 최적화에서 수렴성과 일반화 성능을 어떻게 향상시키는가?

주요 결과

• DrMAD는 정확한 역방향 자동 미분 대비 최소 100,000배의 메모리 소비 감소를 이룩했으며, MNIST 데이터셋에서 기존 20TB에서 0.2GB로 줄였다.
• DrMAD는 벤치마크 데이터셋에서 최신 기술 대비 유사한 성능을 유지하면서도 최적화 속도를 45배 높였다.
• MNIST 데이터셋에서 30,000개의 훈련 샘플을 사용할 경우 DrMAD는 테스트 오차 1.13%를 달성했으며, 기준 RMAD 방법과 동일한 성능를 보였다.
• 훈련 반복 횟수를 2,000으로 늘였을 때 DrMAD는 Omniglot 데이터셋에서 테스트 오차를 1.10%로 낮추어 더 긴 훈련 기간에서의 일반화 성능 향상을 보였다.
• 초깃값 서버 프레임워크는 중심화된 DrMAD와 유사한 수렴 패턴과 초깃값 분산 진화를 보이며 분산 최적화 성능을 유사하게 유지했다.
• 많은 메타 반복 후 기울기 불안정성이 발생할 수 있음에도 불구하고, DrMAD는 실용적인 시간 및 계산 예산 내에서 효과적으로 기능함을 보여 실생활 배포에 대한 강건성을 시사한다.