[논문 리뷰] A Gradient-based Bilevel Optimization Approach for Tuning Hyperparameters in Machine Learning

Ankur Sinha, Tanmay Khandait외 1명|arXiv (Cornell University)|2020. 07. 21.

Machine Learning and Data Classification참고 문헌 22인용 수 11

한 줄 요약

이 논문은 하이퍼파rameter 튜닝을 위한 기울기 기반 이중 최적화 방법을 제안하며, 하위 문제의 최적 값 함수(φ-매핑)를 근사하여 이중 문제를 단일 제약 최적화 문제로 변환하고, 보완 라그랑주 방법을 통해 해결한다. 이 방법은 계산 비용을 크게 감소시켜, 그리드 서치나 베이지안 최적화보다 최대 100배 적은 하위 문제 최적화를 통해 뛰어난 테스트 성능을 달성하며, 하이퍼파ram터 수가 증가할수록 더욱 두드러진다.

ABSTRACT

Hyperparameter tuning is an active area of research in machine learning, where the aim is to identify the optimal hyperparameters that provide the best performance on the validation set. Hyperparameter tuning is often achieved using naive techniques, such as random search and grid search. However, most of these methods seldom lead to an optimal set of hyperparameters and often get very expensive. In this paper, we propose a bilevel solution method for solving the hyperparameter optimization problem that does not suffer from the drawbacks of the earlier studies. The proposed method is general and can be easily applied to any class of machine learning algorithms. The idea is based on the approximation of the lower level optimal value function mapping, which is an important mapping in bilevel optimization and helps in reducing the bilevel problem to a single level constrained optimization task. The single-level constrained optimization problem is solved using the augmented Lagrangian method. We discuss the theory behind the proposed algorithm and perform extensive computational study on two datasets that confirm the efficiency of the proposed method. We perform a comparative study against grid search, random search and Bayesian optimization techniques that shows that the proposed algorithm is multiple times faster on problems with one or two hyperparameters. The computational gain is expected to be significantly higher as the number of hyperparameters increase. Corresponding to a given hyperparameter most of the techniques in the literature often assume a unique optimal parameter set that minimizes loss on the training set. Such an assumption is often violated by deep learning architectures and the proposed method does not require any such assumption.

연구 동기 및 목표

• 그리드 서치나 무작위 서치와 같은 기존 하이퍼파rameter 튜닝 방법의 비효율성과 높은 비용을 해결한다.
• 유일한 최적 파ram터 집합을 가정하는 등의 제한적인 가정에 의존하는 기존 이중 최적화 접근법의 한계를 극복한다.
• 헤시안 근사나 강한 가정이 필요 없는 일반적인 1차 최적화 방법을 개발하여 모든 기계학습 모델에 적용 가능하도록 한다.
• φ-매핑 근사를 통해 이중 문제를 단일 제약 최적화 문제로 변환하여 하이퍼파rameter 최적화의 계산 부담을 줄인다.
• 베이지안 최적화나 그리드 서치보다 벤치마크 데이터셋에서 더 빠른 수렴 속도와 더 나은 일반화 성능을 달성한다.

제안 방법

• 하이퍼파rameter 최적화를 이중 문제로 공식화한다: 상위 수준에서 검증 손실을 최소화하고, 하위 수준에서 학습 손실을 최소화한다.
• 하위 문제의 최적 값 함수(φ-매핑)를 근사한다. 이는 하이퍼파ram터를 최적의 학습 손실로 매핑하는 함수로, 이중 문제를 단일 제약 최적화 문제로 축소시킨다.
• 결과로 생긴 단일 제약 최적화 문제를 해결하기 위해 보완 라그랑주 방법을 사용하여 효율적이고 안정적인 수렴을 가능하게 한다.
• 표본 추출과 유한 차분을 통해 φ-매핑을 추정하여 헤시안 계산이나 반복적 기울기 근사가 필요 없도록 한다.
• φ-매핑 근사를 보완 라그랑주 프레임워크에 통합하며, 계산 비용은 하위 문제 최적화 수와 보완 라그랑주 업데이트를 위한 추가 단계로 기록한다.
• 하이퍼파라미터 수가 증가함에 따라 샘플 크기와 보완 라그랑주 하위 문제의 변수 수가 선형적으로 증가할 뿐이므로, 방법이 확장 가능하도록 보장한다.

실험 결과

연구 질문

• RQ1 헤시안 근사나 반복적 기울기 추정의 계산 부담을 피할 수 있는 기울기 기반 이중 최적화 방법을 개발할 수 있는가?
• RQ2 φ-매핑 근사를 통해 각 하이퍼파라미터에 대해 유일한 최적 모델 파ram터 집합이 존재한다고 가정하지 않더라도 효율적이고 정확한 하이퍼파라미터 튜닝이 가능한가?
• RQ3 다양한 하이퍼파라미터 차원에서 그리드 서치, 무작위 서치, 베이지안 최적화와 비교해 본다면, 제안된 방법의 계산 효율성과 테스트 성능은 어떠한가?
• RQ4 하이퍼파라미터 수가 증가함에 따라 성능과 확장성이 유지되는가?
• RQ5 φ-매핑 근사는 최적의 하이퍼파라미터를 도달하기 위해 필요한 하위 문제 최적화 횟수를 얼마나 줄이는가?

주요 결과

• 제안된 방법(PVM)은 MNIST 데이터셋에서 1개 또는 2개의 하이퍼파라미터를 가진 6개의 테스트 케이스 전반에서 가장 낮은 테스트 세트 손실을 기록했으며, 그리드 서치와 베이지안 최적화를 모두 능가했다.
• 1개 하이퍼파라미터 케이스에서는 PVM이 평균적으로 10 (+4)회의 하위 문제 최적화만을 요구했고, 그리드 서치는 100–1000회, 베이지안 최적화는 50회를 요구했으며, 더 나은 테스트 성능를 달성했다.
• 2개 하이퍼파라미터 케이스에서는 PVM이 50 (+4)회의 하위 문제 최적화를 사용했고, 그리드 서치가 요구하는 1000회보다 훨씬 적었으며, 더 뛰어난 일반화 성능를 보였다.
• 수렴 플롯을 통해 MNIST 10000(1 HP 및 2 HP 케이스)에서 보완 라그랑주 최적화의 일관된 수렴이 확인되었다.
• PVM은 하이퍼파라미터 수가 증가해도 높은 효율성을 유지했으며, φ-매핑의 표본 크기와 보완 라그랑주 하위 문제의 변수 수가 선형적으로 증가함에 따라 확장 가능성이 있었다.
• 이 방법은 각 하이퍼파라미터에 대해 유일한 최적 모델 파라미터 집합이 존재한다고 가정하지 않아도 되므로, 딥러닝에서 흔히 발생하는 유일하지 않은 해에 대해 강건하다.