[논문 리뷰] An Inexact Successive Quadratic Approximation Method for Convex L-1 Regularized Optimization

Richard H. Byrd, Jorge Nocedal외 1명|arXiv (Cornell University)|2013. 09. 13.

Sparse and Compressive Sensing Techniques참고 문헌 17인용 수 18

한 줄 요약

이 논문은 부정확한 연속 제곱근 근사법을 제안하며, 소프트 임계처리를 기반으로 한 반연속 최적성 측도를 사용하여 하위 문제 해결 시의 부정확성을 제어한다. 이 방법은 전역 수렴성과 국소 초선형 수렴성을 보장하며, 내부 최소화에 FISTA 또는 오르토던 기반 솔버를 사용할 경우 효과적인 수치 결과를 보인다.

ABSTRACT

We study a Newton-like method for the minimization of an objective function that is the sum of a smooth convex function and an l-1 regularization term. This method, which is sometimes referred to in the literature as a proximal Newton method, computes a step by minimizing a piecewise quadratic model of the objective function. In order to make this approach efficient in practice, it is imperative to perform this inner minimization inexactly. In this paper, we give inexactness conditions that guarantee global convergence and that can be used to control the local rate of convergence of the iteration. Our inexactness conditions are based on a semi-smooth function that represents a (continuous) measure of the optimality conditions of the problem, and that embodies the soft-thresholding iteration. We give careful consideration to the algorithm employed for the inner minimization, and report numerical results on two test sets originating in machine learning.

연구 동기 및 목표

• 부드러운 볼록 함수의 ℓ₁ 정규화를 최소화하기 위한 전역 수렴성 부정확한 뉴턴 유사 방법을 개발한다.
• 정확한 최소화가 필요 없이 하위 문제 해의 품질을 제어할 수 있는 부정확성 기준을 설계한다.
• 하위 문제의 최적성 측도와 부정확성 허용 오차를 연결하여 국소 초선형 수렴성을 보장한다.
• FISTA 또는 오르토던 기반 방법과 같은 효율적인 내부 솔버를 허용함으로써 실용적인 구현을 가능하게 한다.
• 기존 기준, 특히 Lee 등 (2014)의 기준과 비교하여 제안된 부정확성 조건이 수렴 성질과 실용적 성능 측면에서 뛰어나다는 것을 입증한다.

제안 방법

• 각 반복점 xₖ에서 조각별 제곱형 모델 qₖ(x) = f(xₖ) + g(xₖ)ᵀ(x−xₖ) + ½(x−xₖ)ᵀHₖ(x−xₖ) + μ‖x‖₁ 을 구성한다.
• 소프트 임계처리 연산자에서 유도된 반연속 함수로 표현된 최적성 잔여량을 기반으로 부정확성 기준을 정의한다.
• 내부 하위 문제 qₖ(x)는 FISTA(1차) 또는 오르토던 기반 방법(2차)를 사용하여 부정확하게 최소화하며, 투영 배치 후행선 탐색을 적용한다.
• 오르토던 기반 방법은 부호 및 부분미분 조건을 통해 활성 집합을 식별하고, 활성 부분공간에서의 부드러운 하위 문제를 쿼어지-뉴턴 또는 뉴턴-CG 단계로 해결한다.
• 부정확성 조건은 최소 노름 부분미분의 노름을 측정하여 하위 문제 해가 최적에 충분히 가까이 있도록 보장한다.
• 원래 목적 함수 φ(x)의 충분한 감소를 확보하기 위해, 탐색 방향 dₖ = x̂ − xₖ를 따라 투영 배치 후행선 탐색을 적용한다.

실험 결과

연구 질문

• RQ1 ℓ₁ 정규화된 볼록 최적화를 위한 부정확한 연속 제곱근 근사법이 하위 문제의 부정확한 해를 허용하면서도 전역 수렴성을 달성할 수 있는가?
• RQ2 하위 문제 해결 시의 부정확성을 수치적으로 제어할 수 있는 방법은 무엇이며, 이를 통해 수렴성과 국소 수렴 속도를 유지할 수 있는가?
• RQ3 기존 기준, 특히 Lee 등 (2014)의 기준과 비교하여 제안된 부정확성 기준이 수렴 행동과 실용적 성능 측면에서 뛰어나다는가?
• RQ4 이러한 문제 유형의 하위 문제 해결에 있어 2차 방법인 오르토던 기반 방법이 1차 방법인 FISTA를 능가할 수 있는가?
• RQ5 해가 가까운 지역에서 자연스럽게 단위 스텝 길이를 수용하는가? 이는 빠른 국소 수렴 성질을 시사한다.

주요 결과

• 제안된 부정확성 기준은 ℓ₁ 정규화 문제의 해로의 반복 수렴을 보장한다.
• 이 방법은 국소 초선형 수렴을 보이며, 부정확성 허용 오차 매개변수를 통해 수렴 속도를 제어할 수 있다.
• 해의 근처에서 알고리즘이 자연스럽게 단위 스텝 길이를 수용하며, 이는 빠른 국소 수렴 행동을 시사한다.
• 기계 학습 테스트 세트에서의 수치 결과는 오르토던 기반 방법이 FISTA보다 수렴 속도와 강건성 측면에서 뛰어나다는 것을 보여준다.
• 부정확성 조건은 Lee 등 (2014)이 제안한 조건보다 효과적이며, 하위 문제 잔여량 정의 문제와 수렴 강건성 문제를 피한다.
• 헤시안 행렬이 정확한 경우뿐 아니라 쿼어지-뉴턴 Hₖ 근사에도 적용 가능하며, 헤시안-벡터 곱이 비용이 많이 들 경우 후자가 더 효율적이다.