[논문 리뷰] Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm

Bin Gu, Guodong Liu외 3명|arXiv (Cornell University)|2021. 02. 17.

Machine Learning and Data Classification참고 문헌 34인용 수 4

한 줄 요약

이 논문은 1,250개에 이르는 대규모 초파rameter를 효율적이고 스케일러블하게 조정할 수 있도록, 제로번째 순서 초기함수를 사용하여 블랙박스 방법과 기울기 기반 방법을 융합한 새로운 초파rameter 최적화 방법인 HOZOG를 제안한다. 이는 백프로파게이션을 통한 기울기 계산이 필요 없이도 효과성, 효율성, 확장성, 단순성, 유연성(E2S2F) 측면에서 최신 기술 수준(SOTA)을 달성하며, 비연속적이거나 복잡한 함수에 대해서도 수렴 속도와 적용 가능성에서 기존 방법들을 능가한다.

ABSTRACT

Modern machine learning algorithms usually involve tuning multiple (from one to thousands) hyperparameters which play a pivotal role in terms of model generalizability. Black-box optimization and gradient-based algorithms are two dominant approaches to hyperparameter optimization while they have totally distinct advantages. How to design a new hyperparameter optimization technique inheriting all benefits from both approaches is still an open problem. To address this challenging problem, in this paper, we propose a new hyperparameter optimization method with zeroth-order hyper-gradients (HOZOG). Specifically, we first exactly formulate hyperparameter optimization as an A-based constrained optimization problem, where A is a black-box optimization algorithm (such as deep neural network). Then, we use the average zeroth-order hyper-gradients to update hyperparameters. We provide the feasibility analysis of using HOZOG to achieve hyperparameter optimization. Finally, the experimental results on three representative hyperparameter (the size is from 1 to 1250) optimization tasks demonstrate the benefits of HOZOG in terms of simplicity, scalability, flexibility, effectiveness and efficiency compared with the state-of-the-art hyperparameter optimization methods.

연구 동기 및 목표

• 현대 기계학습 모델에서 최대 1,250개의 대규모 초파라미터를 최적화하는 데 도전하는 것.
• 블랙박스 최적화(단순성, 유연성)와 기울기 기반 방법(효율성, 확장성)의 장점을 초파라미터 최적화에서 통합하는 것.
• 다양한 학습 알고리즘과 초파라미터 크기에 대해 효과적이고 효율적이며 확장 가능하고 단순하고 민첩한(E2S2F) 방법을 개발하는 것.
• 정확한 기울기 계산이 실패하는 비연속적이거나 복잡한 설정에서도 초파라미터 최적화를 가능하게 하는 것.

제안 방법

• A를 블랙박스 알고리즘(예: 딥 네ural 네트워크)으로 간주하여, 초파라미터 최적화를 A 기반의 제약 조건 최적화 문제로 공식화한다.
• 백프로파게이션을 통한 명시적 기울기 계산이 필요 없이 초기함수 방향을 추정하기 위해 제로번째 순서 초기함수(ZOHG)를 도입한다.
• 기울기 하강법을 통해 초파라미터를 업데이트하기 위해 평균 제로번째 순서 초기함수를 사용하여, 블랙박스 방식의 유연성과 기울기 기반 방법의 효율성을 결합한다.
• 외부 목표 함수의 리프시츠 연속성 조건 하에서 이론적으로 타당성을 입증한다.
• 모델 전용 기울기 구현이 필요 없도록, 유한차분 근사법을 사용해 블랙박스 방식으로 초기함수를 추정한다.
• 고정된 초파라미터에 대해 최적의 모델 훈련을 보장하는 조건 하에 검증 오차를 최소화하는 이중 최적화 문제에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 기울기 기반 방법의 효율성과 확장성과 블랙박스 최적화의 단순성과 유연성을 모두 갖춘 초파라미터 최적화 방법은 가능할 수 있는가?
• RQ2 정확한 기울기 계산에 의존하지 않고도 고차원 초파라미터 공간(최대 1,250)에 대해 효과적인 초파라미터 조정을 달성할 수 있는가?
• RQ3 제로번째 순서 초기함수 방법의 성능는 최신 기술 수준의 블랙박스 및 기울기 기반 방법들과 수렴 속도와 일반화 능력 측면에서 어떻게 비교되는가?
• RQ4 기존 기울기 기반 방법이 실패하는 비연속적이거나 불연속적인 목표 함수에 대해서도 제안된 방법을 적용할 수 있는가?

주요 결과

• HOZOG는 1,250개의 초파라미터에 대해 약 24초 만에 한 번의 초기함수 계산을 완료하는 데 성공했고, 이는 정확한 기울기 방법인 REV의 약 40초보다 빠른 수렴 속도를 보였다.
• 모든 초파라미터 크기(500 및 1,250)에서 랜덤 서치(RS)와 BOHB보다 하위 최적성, 기울기 노름, 테스트 오차 측면에서 뛰어난 성능을 보였다.
• HOZOG는 1,250개에 이르는 초파라미터 크기에서 뛰어난 확장성을 보였으며, GPBO, FOR, HOAG와 같은 기존 방법들은 구현 한계로 인해 실패한 바 있다.
• 데이터 초파라미터 정제 작업에서 뛰어난 성능을 보였고, 정확한 기울기 방법이 적용 불가능한 비연속적 설정에서도 강건성을 입증했다.
• HOZOG는 높은 유연성과 단순성을 유지했으며, RFHO 및 기타 기울기 기반 방법들과 달리 맞춤형 기울기 코드가 필요하지 않았다.
• 이론적 분석을 통해 리프시츠 연속성 조건 하에서 타당성이 확인되었으며, 이는 연속적인 목표 함수에 대한 수렴 보장을 뒷받침한다.