[논문 리뷰] Sub-sampled Newton Methods with Non-uniform Sampling

Peng Xu, Jiyan Yang외 3명|arXiv (Cornell University)|2016. 07. 02.

Sparse and Compressive Sensing Techniques참고 문헌 25인용 수 69

한 줄 요약

이 논문은 Hessian 행렬이 저질서 구조를 가지는 대규모 볼록 최적화 문제를 위해 비균일하게 하향 샘플링된 뉴턴 방법(SSF)을 제안한다. 블록 노름 제곱과 부분 유사도 점수에 기반한 비균일 분포를 사용하여 Hessian 성분을 샘플링함으로써, 각 반복에서 O(d log d)개의 샘플만으로 선형-이차 수렴을 달성하면서도, 균일 샘플링 방법에 비해 악조건에 대한 강건성을 유지하면서 계산 비용을 크게 감소시킨다.

ABSTRACT

We consider the problem of finding the minimizer of a convex function $F: \mathbb R^d ightarrow \mathbb R$ of the form $F(w) := \sum_{i=1}^n f_i(w) + R(w)$ where a low-rank factorization of $ abla^2 f_i(w)$ is readily available. We consider the regime where $n \gg d$. As second-order methods prove to be effective in finding the minimizer to a high-precision, in this work, we propose randomized Newton-type algorithms that exploit extit{non-uniform} sub-sampling of $\{ abla^2 f_i(w)\}_{i=1}^{n}$, as well as inexact updates, as means to reduce the computational complexity. Two non-uniform sampling distributions based on {\it block norm squares} and {\it block partial leverage scores} are considered in order to capture important terms among $\{ abla^2 f_i(w)\}_{i=1}^{n}$. We show that at each iteration non-uniformly sampling at most $\mathcal O(d \log d)$ terms from $\{ abla^2 f_i(w)\}_{i=1}^{n}$ is sufficient to achieve a linear-quadratic convergence rate in $w$ when a suitable initial point is provided. In addition, we show that our algorithms achieve a lower computational complexity and exhibit more robustness and better dependence on problem specific quantities, such as the condition number, compared to similar existing methods, especially the ones based on uniform sampling. Finally, we empirically demonstrate that our methods are at least twice as fast as Newton's methods with ridge logistic regression on several real datasets.

연구 동기 및 목표

• n ≫ d 인 대규모 문제에서 뉴턴 방법의 높은 계산 비용을 해결하기 위해.
• Hessian 근사에 균일 샘플링을 대체하여 비균일 샘플링 전략을 도입함으로써 수렴 강건성과 효율성을 향상시키기 위해.
• 부정확한 업데이트와 비균일 샘플링을 통해 반복당 복잡도를 감소시키면서 선형-이차 수렴을 달성하기 위해.
• 악조건 문제 환경에서 균일 샘플링 및 1차 방법에 비해 뛰어난 성능을 보여주기 위해.
• 유사도 점수와 블록 노름에 기반한 비균일 샘플링이 조건수에 대한 의존도를 개선하고 계산 오버헤드를 낮춘다.

제안 방법

• 블록 노름 제곱과 부분 유사도 점수에 기반한 비균일 샘플링 분포를 사용하여 영향력 있는 항목을 우선순위로 지정함으로써, Hessian 성분 ∇²fᵢ(w)에 대한 비균일 샘플링을 수행한다.
• 샘플링된 Aᵢᵀ(w)Aᵢ(w) 항목들의 가중합으로 근사 Hessian을 구성하며, 가중치는 샘플링 분포의 역확률이다.
• 하향 샘플링된 Hessian을 사용하여 뉴턴 단계를 근사적으로 풀어 부정확한 업데이트를 적용함으로써 반복당 비용을 감소시킨다.
• 목적 함수의 충분한 감소를 보장하기 위해 트러스트 영역 유사 전략과 선 탐색을 적용한다.
• 반복 간에 유사도 점수를 재사용하여 매 단계마다 재계산하지 않음으로써 계산 오버헤드를 줄인다.
• 이중 단계 접근법을 사용한다: 초기 단계에서는 균일 샘플링을 통해 좋은 시작점을 확보하고, 이후 단계에서는 비균일 샘플링을 통해 빠른 수렴을 달성한다.

실험 결과

연구 질문

• RQ1 비균일 샘플링이 대규모 뉴턴 유형 방법의 수렴 속도와 강건성 향상에 기여할 수 있는가?
• RQ2 최적의 수렴 속도를 달성하면서 최소한의 샘플 수로 이르기 위해 어떤 샘플링 분포(예: 유사도 점수, 노름 제곱)가 가장 적합한가?
• RQ3 하향 샘플링 뉴턴 방법의 계산 복잡도는 문제 차원 d와 조건수 κ에 따라 어떻게 변화하는가?
• RQ4 비균일 샘플링은 균일 샘플링에 비해 악조건에 대한 민감도를 감소시키는가?
• RQ5 하향 샘플링된 Hessian을 사용한 부정확한 업데이트는 반복당 비용을 줄이면서도 선형-이차 수렴을 유지할 수 있는가?

주요 결과

• 비균일 샘플링을 적용한 제안된 SSN 방법은 Hessian 성분을 O(d log d)개 샘플링함으로써, 부정확한 업데이트가 존재하는 상황에서도 선형-이차 수렴을 달성한다.
• 부분 유사도 점수와 블록 노름 제곱에 기반한 비균일 샘플링은 특히 조건수가 높은 악조건 문제에서 균일 샘플링보다 뛰어난 성능을 보인다.
• Adult, Forest, CT Slice와 같은 실제 데이터셋에서, 릿지 로지스틱 회귀 문제에서 표준 뉴턴 방법보다 최소 두 배 이상 빠른 속도를 기록한다.
• 조건수 변화에 관계없이 안정적인 성능을 보이며, 균일 샘플링은 조건수 κ가 증가함에 따라 성능이著しく 악화된다.
• 반복 간에 유사도 점수를 재사용함으로써 수렴 품질에 손상 없이 계산 비용을 감소시킬 수 있다.
• 실험 결과, LBFGS, GD, AGD에 비해 해의 오차가 10⁻⁸ 수준에 도달하는 데 더 빠르며, 특히 악조건 환경에서 뛰어난 성능을 보인다.