[논문 리뷰] Optimizing Millions of Hyperparameters by Implicit Differentiation

Jonathan Lorraine, Paul Vicol외 1명|arXiv (Cornell University)|2019. 11. 06.

Machine Learning and Data Classification참고 문헌 65인용 수 43

한 줄 요약

이 논문은 gradient-based 하이퍼파라미터 최적화 방법을 제시하며, 이를 위해 Neumann-series inverse Hessian와 함께 암시 함수 정리(implicit function theorem)를 사용하여 대형 신경망에서 수백만 개의 하이퍼파라미터로 HO를 확장한다.

ABSTRACT

We propose an algorithm for inexpensive gradient-based hyperparameter optimization that combines the implicit function theorem (IFT) with efficient inverse Hessian approximations. We present results about the relationship between the IFT and differentiating through optimization, motivating our algorithm. We use the proposed approach to train modern network architectures with millions of weights and millions of hyper-parameters. For example, we learn a data-augmentation network - where every weight is a hyperparameter tuned for validation performance - outputting augmented training examples. Jointly tuning weights and hyperparameters with our approach is only a few times more costly in memory and compute than standard training.

연구 동기 및 목표

• 하이퍼파라미터 최적화(HO)를 모델 가중치의 최적 반응(best-response)을 통해 검증 손실에 영향을 주는 중첩 최적화로 동기화하고 형식화한다.
• 대규모 최적화에서 차별화 가능하게 하는 안정적이고 메모리 효율적인 역해시안 근사를 도입한다.
• 대형 아키텍처와 고차원 하이퍼파라미터에 대한 IFT 기반 HO의 확장성을 보여준다.
• 개별 파라미터 정규화, 데이터 증류, 학습된 데이터 증강과 같은 실용적인 HO 응용을 시연한다.

제안 방법

• 학습 손실 L_T와 검증 손실 L_V를 가진 중첩 최적화 문제로 HO를 형식화한다; 하이퍼파라미터 λ는 w*(lambda)가 L_T를 최소화하는 경우 L_V*를 최소화하도록 최적화된다.
• 하이퍼그래디언트를 직접 항과 best-response 야코비안 ∂w*/∂lambda를 포함하는 간접 항으로 분해한다; 간접 항이 일반적으로 병목 현상임을 강조한다.
• 암시 함수 정리를 사용하여 ∂w*/∂lambda를 역훈련 해시안 ∂^2 L_T/∂w∂w^T 및 혼합 편도 ∂^2 L_T/∂w∂lambda^T를 통해 표현한다.
• constant-memory 계산을 가능하게 하고 unrolled differentiation과 연결된 Neumann-series 기반 역해시안 근사를 제안한다; 효율성을 위한 벡터-야코비안 곱 프레임워크를 제공한다.
• 세 가지 알고리즘을 제시한다: (i) 암시적 미분을 통한 gradient-based HO; (ii) 근사 역-HVP 루틴; (iii) 정확도와 반복 수 i를 맞바꾸는 Neumann-series 기반 하이퍼그래디언트 계산.

실험 결과

연구 질문

• RQ1 고차원 하이퍼파라미터에 대해 암시 함수 정리를 사용해 하이퍼그래디언트를 효율적으로 계산할 수 있는가?
• RQ2 안정적이고 일정 메모리의 역해시안 근사가 현대 대형 신경망에서 실용적인 HO를 가능하게 하는가?
• RQ3 HO 맥락에서 unrolled differentiation와 IFT의 관계는 무엇이며, 이를 효과적으로 어떻게 결합할 수 있는가?
• RQ4 가중치와 하이퍼파라미터의 공동 최적화가 데이터 증강, 데이터세트 증류, per-parameter regularization에 어떤 영향을 미치는가?
• RQ5 수백만 개의 하이퍼파라미터로 확장할 때 메모리 및 계산의 트레이드오프는 무엇인가?

주요 결과

• 제안된 Neumann-series inverse-Hessian 근사는 안정적이고 일정 메모리의 하이퍼그래디언트 계산을 달성한다.
• IFT 기반 하이퍼그래디언트는 unrolled 근사가 더 정확해질수록 실제 해로 수렴하며, unrolled 최적화와 IFT 사이의 연결고리를 확립한다.
• 이 방법은 수백만 개의 가중치와 하이퍼파라미터를 가진 AlexNet 및 LSTM 기반 언어 모델과 같은 대형 아키텍처에 확장된다.
• 이 방법은 per-parameter regularization, data-distillation (one distilled image per class), 그리고 학습된 데이터 증강과 같은 응용을 가능하게 한다.
• 실험적 결과는 많은 하이퍼파라미터를 최적화할 때 표준 train/validation 분할이 충분하지 않을 수 있음을 시사하며, joint training-validation 데이터로 재학습을 촉진한다.