[논문 리뷰] Implicit differentiation of Lasso-type models for hyperparameter optimization

Quentin Bertrand, Quentin Klopfenstein외 4명|arXiv (Cornell University)|2020. 02. 20.

Sparse and Compressive Sensing Techniques참고 문헌 56인용 수 20

한 줄 요약

이 논문은 행렬 역행렬 계산을 피하기 위해 해의 희소성 특성을 활용함으로써, Lasso 유형 모델에 대한 효율적인 암시적 전진 미분 알고리즘을 제안한다. 이는 경사하강법을 통한 확장 가능한 초파rameter 최적화를 가능하게 한다. 이 방법은 정밀도와 속도 측면에서 그리드 서치, 랜덤 서치, 기존의 하이퍼그라디언트 접근 방식을 모두 능가하며, 특히 많은 초파rameter를 가진 고차원 문제에서 뛰어난 성능을 보인다.

ABSTRACT

Setting regularization parameters for Lasso-type estimators is notoriously difficult, though crucial in practice. The most popular hyperparameter optimization approach is grid-search using held-out validation data. Grid-search however requires to choose a predefined grid for each parameter, which scales exponentially in the number of parameters. Another approach is to cast hyperparameter optimization as a bi-level optimization problem, one can solve by gradient descent. The key challenge for these methods is the estimation of the gradient with respect to the hyperparameters. Computing this gradient via forward or backward automatic differentiation is possible yet usually suffers from high memory consumption. Alternatively implicit differentiation typically involves solving a linear system which can be prohibitive and numerically unstable in high dimension. In addition, implicit differentiation usually assumes smooth loss functions, which is not the case for Lasso-type problems. This work introduces an efficient implicit differentiation algorithm, without matrix inversion, tailored for Lasso-type problems. Our approach scales to high-dimensional data by leveraging the sparsity of the solutions. Experiments demonstrate that the proposed method outperforms a large number of standard methods to optimize the error on held-out data, or the Stein Unbiased Risk Estimator (SURE).

연구 동기 및 목표

• Lasso 유형 모델에서 초파라미터 선택의 과제를 해결함으로써, 정규화 파라미터에 민감하기 때문에 중요한데도 불구하고 어려운 문제를 해결하고자 한다.
• 행렬 역행렬 계산의 계산 부담을 피함으로써, 해의 해법에 대한 초파라미터에 대한 기울기를 계산하는 확장 가능하고 메모리 효율적인 방법을 개발하고자 한다.
• 그리드 서치로는 구현이 불가능한 많은 초파라미터를 가진 모델, 예를 들어 가중 Lasso와 같은 경우에도 효과적인 초파라미터 최적화를 가능하게 하고자 한다.
• 비미분 가능하고 희소 최적화 문제에서 자동 미분 및 암시적 미분의 대안으로 강력하고 효율적인 방법을 제공하고자 한다.

제안 방법

• 이 방법은 블록 좌표 강하(Bidirectional Coordinate Descent, BCD)의 전진 반복 미분을 사용하여 Lasso 해법에 대한 초파라미터에 대한 야코비안을 계산한다.
• 이 방법은 회귀 계수 계산과 야코비안 계산을 분리함으로써, 독립적으로 최신의 Lasso 해법기를 사용할 수 있도록 한다.
• 이 알고리즘은 Lasso 해법의 희소성 특성을 활용하여 명시적 행렬 역행렬 계산을 피함으로써, 고차원에서 계산 비용이 매우 높고 수치적으로 불안정한 문제를 해결한다.
• 활성 집합(지원)이 식별된 후에는 초기화에 관계없이 기울기 추정치의 선형 수렴을 보장한다.
• 가중 Lasso와 같은 p개의 초파라미터를 가진 경우, 국소 최소값의 위험을 줄이기 위해 먼저 정규화된 최적화 문제를 풀어 초파라미터를 초기화한다.
• 이 방법은 알고리즘 2로 구현되어, 악조건의 선형 시스템을 풀지 않고도 효율적인 기울기 기반 초파라미터 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 블록 좌표 강하의 전진 반복 미분이 Lasso 유형 문제에서 진짜 기울기에 수렴하는가? 그리고 초기화에 관계없이 수렴하는가?
• RQ2 특히 고차원 설정에서 행렬 역행렬 계산 없이도 Lasso 해법에 대한 초파라미터에 대한 야코비안을 효율적으로 계산할 수 있는가?
• RQ3 제안된 방법이 그리드 서치, 랜덤 서치, 기존의 하이퍼그라디언트 방법과 비교해 추정 오차와 런타임 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 그리드 서치로는 구현이 불가능한 많은 초파라미터를 가진 모델, 예를 들어 가중 Lasso와 같은 모델에 대해서도 이 방법이 확장 가능한가?

주요 결과

• 제안된 방법은 그리드 서치, 랜덤 서치, 베이지안 최적화보다 낮은 추정 오차(MSE)를 달성하여 더 뛰어난 모델 성능을 보였다.
• 모든 하이퍼그라디언트 기반 방법 중에서 가장 빠르며, 그리드 서치와 유사한 실행 시간을 보였고, 전진/역방향 반복 미분보다는 훨씬 빠르게 작동했다.
• p개의 초파라미터를 가진 가중 Lasso의 경우, 비볼록성에도 불구하고 최적의 SURE 기반 선택에 가까운 추정 성능을 달성했다.
• 희소성 특성을 활용함으로써 알고리즘이 효율적이고 안정적으로 유지되었으며, 고차원 문제에서도 행렬 역행렬 계산이 필요 없었다.
• 특히 해의 지원이 작을 경우, 속도와 수치적 안정성 측면에서 암시적 미분보다도 성능이 뛰어났다.
• 가중 Lasso의 경우 정규화된 초기화를 사용함으로써 국소 최소값 수렴 위험을 줄여 초파라미터 선택 과정의 강건성을 향상시켰다.