[논문 리뷰] Implicit differentiation for fast hyperparameter selection in non-smooth convex learning

Quentin Bertrand, Quentin Klopfenstein외 5명|arXiv (Cornell University)|2021. 05. 04.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 비미분 가능한 볼록 학습 문제에 대해 은닉 미분을 사용하여 초기수 하이퍼파rameter 최적화 방법을 제안한다. 이는 초기수 하이퍼기울기를 효율적으로 계산한다. 수치적 결과는 전진 모드 미분을 통해 프록시멀 알고리즘의 수렴이 진짜 자코비안에 수렴하고, 특히 고차원 하이퍼파rameter 공간에서 제로오더 방법보다 뚜렷한 계산적 이점을 확보함을 보여준다.

ABSTRACT

Finding the optimal hyperparameters of a model can be cast as a bilevel optimization problem, typically solved using zero-order techniques. In this work we study first-order methods when the inner optimization problem is convex but non-smooth. We show that the forward-mode differentiation of proximal gradient descent and proximal coordinate descent yield sequences of Jacobians converging toward the exact Jacobian. Using implicit differentiation, we show it is possible to leverage the non-smoothness of the inner problem to speed up the computation. Finally, we provide a bound on the error made on the hypergradient when the inner optimization problem is solved approximately. Results on regression and classification problems reveal computational benefits for hyperparameter optimization, especially when multiple hyperparameters are required.

연구 동기 및 목표

• 라소와 희소 로지스틱 회귀와 같은 비미분 가능한 볼록 학습 문제에서 하이퍼파rameter 선택의 과제를 해결한다.
• 고차원 하이퍼파rameter 공간에서 제로오더 방법의 계산 비효율성을 극복한다.
• 비미분성에도 불구하고 은닉 미분을 활용해 정확한 하이퍼기울기를 계산할 수 있는 초기수 접근법을 개발한다.
• 내부 문제를 근사적으로 해결할 경우 하이퍼기울기 오차에 대한 이론적 경계를 제공한다.
• 다양한 하이퍼파rameter를 포함한 회귀 및 분류 과제에서 방법의 확장성과 효능을 입증한다.

제안 방법

• 비미분 가능한 내부 문제에서도 이중 최적화에서 하이퍼기울기 ∇λℒ(λ)을 계산하기 위해 은닉 미분을 사용한다.
• 프록시멀 경사하강법과 프록시멀 좌표강하법에 전진 모드 미분을 적용하여 자코비안 수열이 정확한 자코비안으로 수렴함을 보여준다.
• 내부 문제의 비미분성을 활용하여 은닉 미분을 통해 하이퍼기울기 계산을 가속화한다.
• 내부 최적화를 근사적으로 해결할 경우 하이퍼기울기 오차에 대한 이론적 경계를 유도한다.
• 라소, 엘라스틱넷, 서포트 벡터 머신, 다중 클래스 로지스틱 회귀에 대해 구현하고 평가한다. 이 때 각 클래스에 대한 정규화를 적용한다.
• 외부 검증을 위해 다중 클래스 교차 엔트로피 기준을 사용하고, 초기수 방법을 제로오더 기반 방법(SMBO, 무작위 탐색)과 비교한다.

실험 결과

연구 질문

• RQ1 비미분 가능한 볼록 최적화 문제에서 은닉 미분을 효과적으로 하이퍼기울기를 계산하는 데 적용할 수 있는가?
• RQ2 프록시멀 알고리즘의 전진 모드 미분 수렴이 비미분 설정에서 진짜 하이퍼기울기와 어떻게 관련되는가?
• RQ3 하이퍼파라미터의 수가 증가할 경우, 제로오더 방법에 비해 초기수 하이퍼파라미터 최적화의 계산적 이점은 무엇인가?
• RQ4 내부 문제를 근사적으로 해결할 경우 하이퍼기울기 추정의 정확도는 어떻게 되며, 이를 경계로 표현할 수 있는가?
• RQ5 제안된 방법은 다중 클래스 로지스틱 회귀에서 각 클래스당 하나의 하이퍼파라미터를 포함하는 고차원 하이퍼파라미터 공간에 대해 효과적으로 확장 가능한가?

주요 결과

• 프록시멀 경사하강법과 좌표강하법에 대한 전진 모드 미분은 비미분 가능한 볼록 문제에서 정확한 하이퍼기울기로 수렴하는 자코비안 수열을 생성한다.
• 특히 하이퍼파라미터의 수가 많을 경우 제로오더 기법에 비해 뚜렷한 계산 속도 향상을 달성한다.
• 1000개의 클래스를 가진 다중 클래스 로지스틱 회귀(aloI 데이터셋)에서 제로오더 방법은 고차원 하이퍼파라미터 공간으로 인해 실패하는 반면, 초기수 방법은 성공한다.
• 중간 정도의 하이퍼파라미터 수를 가진 데이터셋(예: MNIST에서 10개 클래스)에서는 초기수 방법이 SMBO 및 무작위 탐색의 성능을 따라하거나 능가한다.
• 내부 문제를 근사적으로 해결할 경우 하이퍼기울기 오차에 대한 이론적 경계가 유지되어, 근사 해법을 실용적으로 사용할 수 있음을 뒷받침한다.
• 이 방법은 라소, 서포트 벡터 머신, 비미분 정규화를 가진 일반화된 선형 모델을 포함한 다양한 모델에서 확장 가능하고 효과적이다.