[논문 리뷰] A Second-Order Method for Strongly Convex L1-Regularization Problems

Kimon Fountoulakis, Jacek Gondzio|arXiv (Cornell University)|2013. 06. 23.

Sparse and Compressive Sensing Techniques참고 문헌 31인용 수 21

한 줄 요약

이 논문은 매트릭스-프리 콘쥬게이트 그래디언트(CG)를 사용하여 강력한 볼록성과 ℓ₁-정규화를 갖는 문제를 해결하기 위해 원시-이중 뉴턴 공격법(pdNCG)을 제안한다. 비차별적 ℓ₁-노름을 부드럽게 근사하기 위해 허비어-유사 함수를 사용하여 이차 최적화를 가능하게 한다. 이 방법은 전역 수렴성, 국소 초선형 수렴 속도, 최악의 경우 반복 복잡도를 확보하면서도 낮은 메모리 사용량을 유지하며, 희박한 최소 제곱 문제와 실제 기계 학습 문제에서 일阶 방법보다 뛰어난 성능을 보인다.

ABSTRACT

In this paper a robust second-order method is developed for the solution of strongly convex l1-regularized problems. The main aim is to make the proposed method as inexpensive as possible, while even difficult problems can be efficiently solved. The proposed approach is a primal-dual Newton Conjugate Gradients (pdNCG) method. Convergence properties of pdNCG are studied and worst-case iteration complexity is established. Numerical results are presented on synthetic sparse least-squares problems and real world machine learning problems.

연구 동기 및 목표

• 곡률 정보 부족으로 인해 불량한 조건을 가진 ℓ₁-정규화 문제에서 일阶 방법의 비효율성을 해결한다.
• 높은 메모리나 계산 비용 없이도 빠른 수렴을 유지하는 이차 최적화 방법을 개발한다.
• 강력한 볼록성과 ℓ₁-정규화를 갖는 대규모 희박 기계 학습 문제의 안정적이고 확장 가능한 해법을 제공한다.
• 매트릭스-프리 pdNCG 접근법에 대해 최악의 경우 반복 복잡도를 갖는 수렴 분석을 제공한다.
• 합성 및 실제 데이터 세트에서 FISTA와 PCDM와 같은 일阶 방법에 비해 실용적 우수성을 입증한다.

제안 방법

• 비미분 가능 ℓ₁-노름을 근사하기 위해 부드러운 허비어-유사 함수를 사용하여 이차 도함수를 가능하게 한다.
• 문제를 부드럽고 강력한 볼록 함수로 최소화하는 방식으로 설정한다: fₜᵘ(x) = τψᵤ(x) + φ(x), 여기서 ψᵤ는 허비어-유사 근사이다.
• 매트릭스-프리 환경에서 콘주게이트 그래디언트(CG) 방법을 사용해 근사 뉴턴 단계를 계산하는 원시-이중 뉴턴 방법을 적용한다.
• 근사 헤시안 정보를 기반으로 한 가변 메트릭을 CG에 도입하여 명시적 분해 없이도 효율적인 탐색 방향을 확보한다.
• 충분한 감소를 보장하면서 과도한 반복을 방지하기 위해 최대 반복 수를 제한하는 백트래킹 선 탐색을 사용한다.
• 가변 메트릭 공간에서 CG의 성질을 활용하여 전역 및 국소 수렴 속도와 최악의 경우 복잡도 한계를 유도한다.

실험 결과

연구 질문

• RQ1 대규모 ℓ₁-정규화 문제에 대해 효율적이고 확장 가능한 이차 최적화 방법을 만들 수 있는가?
• RQ2 행렬 분해 없이도 ℓ₁-정규화 문제에서 이차 곡률 정보를 효과적으로 활용할 수 있는가?
• RQ3 강력한 볼록성과 ℓ₁-정규화를 갖는 문제에 대해 매트릭스-프리 원시-이중 뉴턴-CG 방법의 최악의 경우 반복 복잡도는 무엇인가?
• RQ4 ℓ₁-노름의 매끄러운 근사가 전역 수렴 보장을 갖는 안정적인 이차 최적화를 가능하게 하는가?
• RQ5 실제 기계 학습 문제에서 제안된 pdNCG 방법이 FISTA와 PCDM와 비교해 실용적으로 어떻게 우월한가?

주요 결과

• pdNCG 방법은 전역 수렴성과 국소 초선형 수렴 속도를 확보하며, 빠른 수렴 영역이 명확히 정의되어 있다.
• 강력한 볼록성과 리프시츠 헤시안 가정 하에 pdNCG 방법의 최악의 경우 반복 복잡도가 확립되었다.
• 합성 희박 최소 제곱 문제에서 pdNCG는 목적 함수 감소 측면에서 FISTA와 PCDM를 능가한다.
• 여섯 가지 실제 기계 학습 문제(예: real-sim, news20, webspam)에서 pdNCG는 초기 반복 단계에서 FISTA와 PCDM보다 더 빠른 수렴을 보였다.
• 매트릭스-프리 CG를 사용함으로써 메모리 사용량을 낮추고 행렬 분해를 피함으로써 대규모 문제에 적합한 성능을 유지를 한다.
• 수치적 결과는 교차 검증을 통해 최적의 τ 값을 찾았을 때, 모든 테스트된 LSVM 문제에서 90% 이상의 분류 정확도를 달성할 수 있음을 보여주었다.