[논문 리뷰] Forward and Reverse Gradient-Based Hyperparameter Optimization

Luca Franceschi, Michele Donini외 2명|arXiv (Cornell University)|2017. 03. 06.

Stochastic Gradient Optimization Techniques참고 문헌 24인용 수 56

한 줄 요약

본 논문은 반복적 학습 알고리즘에 대한 두 가지 기울기 기반 하이퍼파라미터 최적화 방법을 제시한다: 역방향 모드(RMD)와 순방향 모드(FMD) 접근법, 효율적인 온라인 하이퍼파라미터 업데이트를 위한 실시간 순방향 모드 변형을 포함한다.

ABSTRACT

We study two procedures (reverse-mode and forward-mode) for computing the gradient of the validation error with respect to the hyperparameters of any iterative learning algorithm such as stochastic gradient descent. These procedures mirror two methods of computing gradients for recurrent neural networks and have different trade-offs in terms of running time and space requirements. Our formulation of the reverse-mode procedure is linked to previous work by Maclaurin et al. [2015] but does not require reversible dynamics. The forward-mode procedure is suitable for real-time hyperparameter updates, which may significantly speed up hyperparameter optimization on large datasets. We present experiments on data cleaning and on learning task interactions. We also present one large-scale experiment where the use of previous gradient-based methods would be prohibitive.

연구 동기 및 목표

• 그리드/무작위/베이지안 방법에 대한 대안으로서의 기울기 기반 하이퍼파라미터 최적화를 동기부여한다.
• 반복적 학습 역학에 대한 역방향 모드 및 순방향 모드 하이퍼그래디언트 계산을 도출·비교한다.
• 온라인 하이퍼파라미터 업데이트를 위한 실시간 순방향 모드 하이퍼그래디언트 방법을 도입한다.
• 대규모 실험에서 시간/공간 복잡성을 분석하고 확장성을 입증한다.
• 실용적 이점을 강조하기 위한 데이터 정리 및 다작업 학습과 같은 제약된 HO 시나리오를 보여준다.

제안 방법

• 하이퍼파라미터 λ를 가지는 s_t = Phi_t(s_{t-1}, lambda)로서의 동적 시스템으로 학습을 형식화한다.
• 여울 α_t인 매개변수와 함께 라그랑지안을 사용한 역방향 모드 하이퍼그래디언트를 도출하고, 그것이 시간 역전(back-propagation through time)과의 관계를 보인다.
• 총 도함수 ds_T/dlambda를 통해 순방향 모드 하이퍼그래디언트를 도출하고, 재귀식 Z_t = A_t Z_{t-1} + B_t를 얻는다.
• 온라인 업데이트를 위한 부분적 하이퍼그래디언트를 각 시간 단계에서 계산하는 실시간 순방향 모드 변형(RTRL와 유사한)을 제공한다.
• 계산 복잡성에 대해 논의한다: 순방향 모드의 시간복잡도는 O(T m g(d,m))이고 공간복잡도는 O(h(d,m))이며; 역방향 모드의 시간복잡도는 O(T g(d,m))이고 공간복잡도는 O(s(d,m))이다.

실험 결과

연구 질문

• RQ1 반복적 학습 알고리즘의 하이퍼파라미터에 대한 검증 오차의 그래디언트를 효율적으로 계산할 수 있는가?
• RQ2 시간, 공간 및 실시간 적용성 측면에서 역방향 모드와 순방향 모드 하이퍼그래디언트 계산의 트레이드오프는 무엇인가?
• RQ3 실시간(온라인) 하이퍼파라미터 업데이트를 통해 대규모 데이터셋에서 하이퍼파라미터 최적화를 상당히 앞당길 수 있는가?
• RQ4 제한된 하이퍼파라미터 최적화 설정(예: 희소성, 비음수성)이 HO 성능에 어떤 영향을 미치는가?
• RQ5 그레이디언트 기반 방법이 금지되었던 대형 모델 및 과제에서도 확장될 수 있는가?

주요 결과

• 역방향 모드 하이퍼그래디언트는 원칙적인 라그랑지안 기반 그래디언트를 제공하지만 트랙터리(storage) 저장으로 인한 높은 공간 복잡성을 가진다.
• 순방향 모드 하이퍼그래디언트는 매개변수 수에 비해 하이퍼파라미터 수가 작을 때 효율적으로 계산 가능하다.
• 실시간 순방향 모드(RTRL 유사)는 학습 중 하이퍼파라미터를 업데이트할 수 있어 대규모 데이터셋에서 온라인 적응이 가능하다.
• 실험은 데이터 정리 및 다작업 학습에 적용 가능함을 보여주며, 이전의 그래디언트 방법이 금지되었던 대규모 설정도 포함한다.
• 제한된 HO(예: L1 희소성)는 노이즈가 있는 예제를 식별하고 다작업 학습에서 과제 간 상호작용을 드러내는 데 도움이 될 수 있다.
• 순방향 모드 접근법은 대규모 데이터셋에서 하이퍼파라미터 최적화를 크게 가속화하고 온라인 업데이트를 지원한다.