[논문 리뷰] Newton Method for Sparse Logistic Regression: Quadratic Convergence and Extensive Simulations

Rui Wang, Naihua Xiu외 1명|arXiv (Cornell University)|2019. 01. 09.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 4

한 줄 요약

이 논문은 희소성 제약 조건이 붙은 로지스틱 회귀에 대한 뉴턴 방법을 제안하며, τ-정류점을 통해 일阶 최적성 조건을 수립하고 뉴턴 반복을 통해 효율적으로 이를 해결한다. 이 방법은 낮은 계산 복잡도를 바탕으로 전역 수렴성과 이차 수렴성을 확보하며, 합성 및 실세계 데이터에서의 수치 실험에서 일곱 개의 최첨단 솔버보다 뛰어난 성능을 보인다.

ABSTRACT

Sparse logistic regression, {as an effective tool of classification,} has been developed tremendously in recent two decades, from its origination the $\ell_1$-regularized version to the sparsity constrained models. This paper is carried out on the sparsity constrained logistic regression by the Newton method. We begin with establishing its first-order optimality condition associated with a $ au$-stationary point. This point can be equivalently interpreted as an equation system which is then efficiently solved by the Newton method. The method has a considerably low computational complexity and enjoys global and quadratic convergence properties. Numerical experiments on random and real data demonstrate its superior performance when against seven state-of-the-art solvers.

연구 동기 및 목표

• 희소성 제약 조건이 붙은 로지스틱 회귀에 대한 효율적인 최적화 방법을 개발하는 것, 이는 고차원 분류에서 핵심 도구이다.
• τ-정류점을 사용하여 희소성 제약 조건이 붙은 문제의 일阶 최적성 조건을 수립하는 것.
• 낮은 계산 복잡도로 최적성 조건을 효율적으로 해결할 수 있는 뉴턴 기반 알고리즘을 설계하는 것.
• 합성 및 실세계 데이터에서 기존 최첨단 솔버들보다 본 방법의 우수성을 입증하는 것.
• 제시된 설정 하에서 제안된 알고리즘의 전역 수렴성과 이차 수렴성 증명하기

제안 방법

• 방법은 희소성 제약 조건이 붙은 로지스틱 회귀 문제를 τ-정류 조건을 사용해 수식화하며, 이는 일阶 최적성 기준으로 작용한다.
• τ-정류 조건은 뉴턴 방법을 사용해 해결할 수 있는 방정식 체계로 재구성된다.
• 이 방정식 체계에 뉴턴 반복을 적용하여 이차 정보를 활용해 빠른 수렴을 이룬다.
• 헤시안과 기울기 계산에서 희소성을 활용함으로써 계산 복잡도를 낮추는 데에 알고리즘을 설계한다.
• 선 탐색 전략을 통해 전역 수렴성을 확보하고, 해에 가까워질수록 이차 수렴성을 달성한다.
• 성능 평가를 위해 알고리즘은 임의의 데이터와 실세계 데이터에 모두 구현 및 테스트된다.

실험 결과

연구 질문

• RQ1 보장된 수렴 성질을 갖는 뉴턴 방법이 희소성 제약 조건이 붙은 로지스틱 회귀에 효과적으로 적용될 수 있는가?
• RQ2 제안된 방법은 희소 분류 작업에서 일곱 개의 최첨단 솔버와 비교해 성능가 어떻게 다른가?
• RQ3 기존 방법들과 비교해 뉴턴 기반 접근의 계산 복잡도는 어떠한가?
• RQ4 이 유형의 문제에 대해 실제 적용 시 본 방법이 전역 수렴성과 이차 수렴성을 달성하는가?
• RQ5 τ-정류 조건이 희소 로지스틱 회귀의 신뢰할 수 있고 해를 구할 수 있는 최적성 조건으로 기능할 수 있는가?

주요 결과

• 제안된 뉴턴 방법은 희소성 제약 조건이 붙은 로지스틱 회귀에 대해 전역 수렴성과 이차 수렴성을 확보한다.
• 희소성 활용 덕분에 기존 표준 방법들보다 훨씬 낮은 계산 복잡도를 보인다.
• 임의의 데이터와 실세계 데이터 양쪽 모두에서, 솔루션의 정확도와 수렴 속도 측면에서 일곱 개의 최첨단 솔버를 모두 능가한다.
• τ-정류 조건은 문제의 일阶 최적성 조건에 대해 등가이자 해를 구할 수 있는 재구성으로 기능한다.
• 수치 실험을 통해 본 방법은 다양한 데이터 환경에서 강인하고 효율적임을 확인한다.
• 특히 고차원 희소 환경에서 매우 빠른 수렴을 달성하면서도 높은 정확도를 유지한다.