[논문 리뷰] Hyperparameter Learning via Bilevel Nonsmooth Optimization

Takayuki Okuno, Akiko Takeda외 1명|arXiv (Cornell University)|2018. 06. 05.

Sparse and Compressive Sensing Techniques인용 수 14

한 줄 요약

이 논문은 $0 < p \leq 1$ 인 비스무스 $\ell_p$-정규화 문제에 대한 초매개변수 선택을 위한 새로운 이중최적화 프레임워크를 제안한다. 이는 수렴 보장이 있는 확장 가능한 알고리즘의 부족을 해결한다. 새로운 최적성 조건을 수립하고, 베이지안 최적화 및 격자 탐색에 비해 뛰어난 확장성과 정확도를 달성하는 스무딩 유형의 알고리즘을 도입한다.

ABSTRACT

We propose a bilevel optimization strategy for selecting the best hyperparameter value for the nonsmooth $\ell_p$ regularizer with $0<p\le 1$. The concerned bilevel optimization problem has a nonsmooth, possibly nonconvex, $\ell_p$-regularized problem as the lower-level problem. Despite the recent popularity of nonconvex $\ell_p$ regularizer and the usefulness of bilevel optimization for selecting hyperparameters, algorithms for such bilevel problems have not been studied because of the difficulty of $\ell_p$ regularizer. We first show new optimality conditions for such bilevel optimization problems and then propose a smoothing-type algorithm together with convergence analysis. The proposed algorithm is simple and scalable as our numerical comparison to Bayesian optimization and grid search indicates. It is a promising algorithm for nonsmooth nonconvex bilevel optimization problems as the first algorithm with convergence guarantee.

연구 동기 및 목표

• 이중최적화 문제에 대해 비스무스이고 비볼록인 $\ell_p$ 정규화($0 < p \leq 1$)를 다룰 수 있는 확장 가능하고 수렴 보장이 있는 알고리즘의 부족을 보완하는 것.
• 기존 방법이 미분 가능성이 없고 비볼록성으로 인해 실패하는 $\ell_p$-정규화 문제에서 초매개변수 학습을 위한 실용적이고 이론적으로 타당한 방법을 개발하는 것.
• 비스무스인 하위 목표 함수를 포함하는 이중최적화 문제에 특화된 새로운 최적성 조건을 수립하는 것.
• 하위 문제의 해에 대한 근사 기울기를 반복적으로 이용하여 효율적이고 확장 가능한 초매개변수 조정을 가능하게 하는 스무딩 기반 알고리즘을 설계하는 것.

제안 방법

• 초매개변수 선택을 이중최적화 문제로 공식화하며, 하위 문제는 $0 < p \leq 1$ 인 비스무스 $\ell_p$-정규화 최적화이다.
• 하위 문제의 비스무스 $\ell_p$ 정규화를 근사하기 위해 스무딩 기법을 도입하여 상위 문제에서 기울기 기반 최적화를 가능하게 한다.
• 하위 목표 함수의 비스무스성과 비볼록성을 고려한 이중최적화 문제의 새로운 최적성 조건을 유도한다.
• 하위 문제의 해에 대한 근사 기울기를 반복적으로 이용하는 스무딩 유형의 알고리즘을 제안한다.
• 비볼록성과 비스무스성에도 불구하고 문제의 성격을 고려해 약한 가정 하에 제안된 알고리즘의 전역 수렴 보장을 확립한다.
• 기준 문제에 대해 제안된 방법을 구현하고, 실행 시간과 해의 품질 측면에서 베이지안 최적화 및 격자 탐색과의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 $0 < p \leq 1$ 인 $\ell_p$-정규화 문제에 대해 비스무스성과 비볼록성에도 불구하고 이중최적화 프레임워크가 초매개변수 선택에 효과적으로 적용될 수 있는가?
• RQ2 비스무스성과 비볼록성을 포함하는 하위 목표 함수를 가진 이중최적화 문제에서 어떤 새로운 최적성 조건이 도출되는가?
• RQ3 스무딩 기반 알고리즘이 이러한 도전적인 이중최적화 환경에서 수렴성과 확장성을 달성할 수 있는가?
• RQ4 베이지안 최적화 및 격자 탐색과 같은 기존 기준 대비 제안된 방법의 성능과 내성에 대해 어떻게 비교되는가?
• RQ5 다양한 $p$ 값에 대해 알고리즘의 수렴 속도와 해의 품질 측면에서 경험적으로 어떤 행동을 보이는가?

주요 결과

• 제안된 스무딩 유형의 알고리즘은 $0 < p \leq 1$ 인 비스무스 $\ell_p$ 정규화를 포함하는 이중최적화 문제에 대해 전역 수렴을 달성한다. 이는 이론적으로 중요한 진전이다.
• 실행 시간과 해의 품질 측면에서 베이지안 최적화 및 격자 탐색을 모두 능가하며, 고차원 문제에서 뛰어난 확장성을 보여준다.
• 비스무스성과 비볼록성을 고려한 이중최적화 문제에 특화된 새로운 최적성 조건가 도출되었다.
• 알고리즘은 간단하게 구현할 수 있으며, $p < 1$의 도전적인 영역을 포함한 다양한 $p$ 값에서 효과적이다.
• 수치 실험을 통해 알고리즘의 강인성과 효율성이 확인되었으며, 초매개변수 선택 정확도에서 일관된 향상이 이루어졌다.