[논문 리뷰] Safe Grid Search with Optimal Complexity

Eugène Ndiaye, Tam Le외 3명|arXiv (Cornell University)|2018. 10. 12.

Sparse and Compressive Sensing Techniques참고 문헌 36인용 수 7

한 줄 요약

이 논문은 최적의 복잡도를 달성하기 위해 정규화 경로를 근사화함으로써 기계학습에서 초파rameter 튜닝을 위한 안전한 격자 검색 알고리즘을 제안한다. 이 알고리즘은 로지스틱 회귀에서의 일반화된 자기동조성과 최소 제곱법에서의 균일한 볼록성과 같은 손실 함수의 곡률 성질을 활용하여 검증 오차가 최적 값과 ε 이내에 있도록 보장하며, 수동으로 정지 기준을 설정할 필요 없이 자동으로 학습 최적화 정밀도를 校정한다.

ABSTRACT

Popular machine learning estimators involve regularization parameters that can be challenging to tune, and standard strategies rely on grid search for this task. In this paper, we revisit the techniques of approximating the regularization path up to predefined tolerance $ε$ in a unified framework and show that its complexity is $O(1/\sqrt[d]ε)$ for uniformly convex loss of order $d \geq 2$ and $O(1/\sqrtε)$ for Generalized Self-Concordant functions. This framework encompasses least-squares but also logistic regression, a case that as far as we know was not handled as precisely in previous works. We leverage our technique to provide refined bounds on the validation error as well as a practical algorithm for hyperparameter tuning. The latter has global convergence guarantee when targeting a prescribed accuracy on the validation set. Last but not least, our approach helps relieving the practitioner from the (often neglected) task of selecting a stopping criterion when optimizing over the training set: our method automatically calibrates this criterion based on the targeted accuracy on the validation set.

연구 동기 및 목표

• 고차원 설정에서 정규화 경로 알고리즘의 비효율성과 불안정성(지수적 복잡도 및 수치적 문제)을 해결하기 위해.
• 기계학습에서 흔히 공통되는 일반적인 정규성 가정 하에 해와 검증 경로를 근사화하는 통합 프레임워크를 제공하기 위해.
• 목표 검증 정확도에 기반해 자동으로 학습 최적화 정지 기준을 校정함으로써 수동으로 정지 조건을 선택할 필요를 제거하기 위해.
• 기존의 근사 경로 방법을 로지스틱 회귀 및 일반화된 자기동조 함수와 같이 이전에는 다루기 어려웠던 케이스를 다룰 수 있도록 확장하기 위해.
• 검증 오차와 εv-근접한 최적값에 도달하는 초파rameter 선택을 위한 실용적인 알고리즘을 제공하고, 전역 수렴 보장을 제공하기 위해.

제안 방법

• 손실 함수의 곡률 성질을 활용하여 통합 프레임워크를 통해 정규화 경로를 근사화함. 특히, d ≥ 2인 경우의 일반화된 자기동조성과 균일한 볼록성에 기반한다.
• 균일하게 볼록한 손실 함수의 경우 d ≥ 2에 대해 O(1/√[d]ε)의 복잡도 상한을 도출하고, 로지스틱 회귀와 같은 일반화된 자기동조 함수의 경우 O(1/√ε)의 복잡도 상한을 도출한다.
• 정규화 파rameter에 따라 검증 오차의 상한 및 하한을 구축함으로써 후보 파rameter에 대한 안전한 간격 추정을 가능하게 한다.
• 목표 검증 정확도 εv에 기반한 학습 최적화 정지 기준을 도입하여, 충분한 정밀도에 도달했을 때에만 학습을 종료함을 보장한다.
• 이론적 상한에 기반한 적응형 단방향 및 双방향 격자 기반의 격자 정밀화 전략을 활용하여, 그리드 포인트 수를 최소화하면서도 εv 정확도를 유지한다.
• 이중성과 페인첼 쌍대 함수를 활용하여 검증 오차 갭을 이중 변수의 관점에서 표현함으로써, 각 후보 주변의 안전한 간격을 효율적으로 계산할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 로지스틱 회귀를 포함한 기계학습 문제의 광범위한 클래스에서 정규화 경로 근사의 복잡도를 최적화할 수 있는가?
• RQ2 최소한의 그리드 포인트 수로도 목표 정확도 εv를 보장하면서 검증 오차 경로를 근사화할 수 있는가?
• RQ3 일반화된 자기동조성 및 균일하게 볼록한 손실 함수에 대해 안전한 격자 검색의 이론적 복잡도는 무엇인가?
• RQ4 목표 검증 정확도에 기반해 학습 최적화 정지 기준을 자동으로 校정할 수 있는가? 이를 통해 수동 조정이 필요 없는가?
• RQ5 기본 그리드(예: glmnet 또는 sklearn에서 사용하는 그리드)와 비교했을 때, 실용적으로 계산 비용과 정확도 측면에서 제안된 방법은 어떻게 성능을 내는가?

주요 결과

• 균일하게 볼록한 손실 함수의 경우 d ≥ 2에 대해 O(1/√[d]ε)의 복잡도를 달성하고, 일반화된 자기동조 함수인 로지스틱 회귀의 경우 O(1/√ε)의 복잡도를 달성함으로써 이전의 O(1/ε) 상한보다 향상됨.
• 로지스틱 회귀의 경우, 일반화된 자기동조성 하에서 명시적인 복잡도 및 최적성 보장을 갖춘 첫 번째 알려진 근사 경로를 제공함. 이는 이전에 정밀도 없이 다루기 어려웠던 케이스를 해결함.
• 알고리즘은 최적 검증 오차와 εv 이내에 있는 모델 오차를 갖는 이산적인 파rameter 집합을 출력하며, 이를 제8개 정리에서 수학적으로 공식화함.
• 알고리즘은 학습 최적화를 언제 멈출지 자동으로 결정함: 이중성 갭이 εv,μ 이하로 떨어질 때까지 학습을 진행하며, 이는 향후 학습이 검증 성능을 향상시키지 못함을 보장함.
• 백혈병 및 기후 데이터셋에 대한 수치 실험 결과, glmnet 및 sklearn에서 사용하는 기본 그리드와 비교해 뚜렷한 계산적 이점과 더 나은 경로 근사 성능을 확보함.
• 비볼록 및 비연속 검증 오차 경로 환경에서도, 합성 엘라스틱 넷 문제에서의 실험을 통해 알고리즘이 검증 오차의 전역 최소값으로 수렴하는 것으로 확인됨.