[논문 리뷰] Globally Convergent Newton Methods for Ill-conditioned Generalized Self-concordant Losses

Ulysse Marteau-Ferey, Francis Bach외 1명|arXiv (Cornell University)|2019. 07. 03.

Sparse and Compressive Sensing Techniques인용 수 10

한 줄 요약

이 논문은 정규화가 점차 감소하는 문제의 순차적 해결을 통해 악조건화된 일반화된 자기동조 손실(예: 로지스틱 회귀 및 소프트맥스 회귀)에 대해 전역 수렴하는 뉴턴 방법을 제안한다. 이는 조건수에 대한 로그적 의존성과 함께 선형 수렴 속도를 달성하며, 조건수에 영향을 받지 않는 최적 복잡도를 갖는 최초의 대규모 이론적 보장이 있는 비모수적 로지스틱 회귀에 대한 알고리즘을 제공한다.

ABSTRACT

In this paper, we study large-scale convex optimization algorithms based on the Newton method applied to regularized generalized self-concordant losses, which include logistic regression and softmax regression. We first prove that our new simple scheme based on a sequence of problems with decreasing regularization parameters is provably globally convergent, that this convergence is linear with a constant factor which scales only logarithmically with the condition number. In the parametric setting, we obtain an algorithm with the same scaling than regular first-order methods but with an improved behavior, in particular in ill-conditioned problems. Second, in the non parametric machine learning setting, we provide an explicit algorithm combining the previous scheme with Nystr{\\"o}m projection techniques, and prove that it achieves optimal generalization bounds with a time complexity of order O(ndf $\\lambda$), a memory complexity of order O(df 2 $\\lambda$) and no dependence on the condition number, generalizing the results known for least-squares regression. Here n is the number of observations and df $\\lambda$ is the associated degrees of freedom. In particular, this is the first large-scale algorithm to solve logistic and softmax regressions in the non-parametric setting with large condition numbers and theoretical guarantees.

연구 동기 및 목표

• 조건수에 따라 성능이 급격히 떨어지는 기계학습 문제에서 일阶 방법의 성능 저하 문제를 해결한다.
• 전통적인 뉴턴 방법이 전역 수렴성을 갖지 못하고 대규모 환경에서 높은 계산 비용을 유발하는 한계를 극복한다.
• 로지스틱 회귀 및 소프트맥스 회귀를 포함한 일반화된 자기동조 손실에 적용 가능한 전역 수렴 제2차 방법을 개발한다.
• 비모수적 커널 학습에서 최적의 일반화 경계를 달성하며, 시간 복잡도 O(n·dfλ)와 메모리 복잡도 O(dfλ²)를 조건수에 관계없이 확보한다.
• 비모수적 환경에서 악조건화된 로지스틱 및 소프트맥스 회귀에 대해 대규모이고 이론적으로 보장된 알고리즘을 제공한다—이전까지 해결되지 않은 문제이다.

제안 방법

• 감소하는 정규화 매개변수 μ ≥ λ를 갖는 정규화된 문제의 순차적 해결을 위한 경로 추적 기반 방법을 제안한다.
• 각 fμ에 대해 근사 뉴턴 단계를 사용하여 局소 자기동조 성질을 통해 전역 수렴을 보장한다.
• 일반화된 자기동조 프레임워크를 활용해 국소 조건수 κℓ = R²/λ를 유한하게 제한함으로써 악조건화에 대한 로그적 의존성을 가능하게 한다.
• 경로 추적 뉴턴 방법과 니스트롬 투영 기법을 조합하여 무한차원 힐버트 공간 내 차원을 감소시킨다.
• 균일 또는 리지드 스코어 기반 샘플링을 사용하여 헤시안의 저랭크 근사치를 구성함으로써 안정적이고 정확한 뉴턴 단계를 확보한다.
• 투영된 공간에서의 근사 뉴턴 단계가 전체 문제에 대해 높은 확률로 ρ-근사해를 제공함을 증명한다.

실험 결과

연구 질문

• RQ1 고정밀도 헤시안 역행렬 계산이 필요 없이 악조건화된 일반화된 자기동조 손실에 대해 전역 수렴하는 뉴턴 방법을 설계할 수 있는가?
• RQ2 제안된 방법이 전반적인 조건수에 의존하지 않고, 특히 악조건화된 환경에서 수렴 속도를 확보할 수 있는가?
• RQ3 비모수적 커널 학습 환경에서 시간 복잡도와 메모리 복잡도를 최적화하면서도 로지스틱 및 소프트맥스 회귀 문제를 해결할 수 있는가?
• RQ4 경로 추적 뉴턴 방법과 니스트롬 투영을 조합하여 조건수에 의존하지 않는 최적의 일반화 경계를 달성할 수 있는가?
• RQ5 대규모 문제에서 안정적이고 정확한 저랭크 헤시안 근사치를 확보하기 위해 어떤 샘플링 전략(균일 또는 리지드 스코어)이 효과적인가?

주요 결과

• 알고리즘은 전역 수렴을 보이며, 수렴 인자는 국소 조건수 κℓ에 대해 로그적으로 스케일링된다.
• 파rametric 설정에서 이 방법은 최고의 일阶 방법과 동일한 복잡도를 갖지만, 악조건화된 문제에서는 그들을 능가한다.
• 비모수적 설정에서 알고리즘은 시간 복잡도 O(n·dfλ)와 메모리 복잡도 O(dfλ²)를 확보하며, 이는 조건수에 영향을 받지 않는다.
• 이 방법은 악조건화된 상황에서 이론적 보장을 갖는 대규모 비모수적 설정에서 로지스틱 및 소프트맥스 회귀 문제를 해결하는 최초의 알고리즘이다.
• 높은 확률로 리지드 스코어 또는 균일 샘플링을 사용한 니스트롬 샘플링은 뉴턴 단계에 대해 ρ-근사해를 제공하며, 안정적인 수렴을 보장한다.
• 이론적 분석을 통해 스펙트럼 노름을 통한 헤시안 근사 오차의 유한성과 저랭크 투영 오차에 대한 강건성을 입증한다.