[논문 리뷰] Stochastic Newton and Quasi-Newton Methods for Large Linear Least-squares Problems

Julianne Chung, Matthias Chung외 2명|arXiv (Cornell University)|2017. 02. 23.

Machine Learning and ELM참고 문헌 36인용 수 8

한 줄 요약

이 논문은 큰 규모의 선형 최소제곱 문제를 해결하기 위해 랜덤 샘플링 행렬을 사용하여 문제를 확률적 최적화 과제로 재구성함으로써 확률적 뉴턴 및 준뉴턴 방법을 제안한다. 이는 확률적 준뉴턴 반복이 실제 최소제곱 해로 거의 확실히 수렴함을 증명하며, 비일관성 있는 시스템에서는 확률적 뉴턴 반복이 원하는 해로 수렴하지 않을 수 있음을 보여준다.

ABSTRACT

We describe stochastic Newton and stochastic quasi-Newton approaches to efficiently solve large linear least-squares problems where the very large data sets present a significant computational burden (e.g., the size may exceed computer memory or data are collected in real-time). In our proposed framework, stochasticity is introduced in two different frameworks as a means to overcome these computational limitations, and probability distributions that can exploit structure and/or sparsity are considered. Theoretical results on consistency of the approximations for both the stochastic Newton and the stochastic quasi-Newton methods are provided. The results show, in particular, that stochastic Newton iterates, in contrast to stochastic quasi-Newton iterates, may not converge to the desired least-squares solution. Numerical examples, including an example from extreme learning machines, demonstrate the potential applications of these methods.

연구 동기 및 목표

• 메모리 용량을 초과하거나 실시간으로 수집되는 데이터에서 발생하는 대규모 선형 최소제곱 문제 해결의 계산 부담을 완화한다.
• 기본 반복적 해법에서 A와 A^T에 대한 반복적인 행렬-벡터 곱셈의 높은 비용을 해결한다.
• 전체 문제를 효율적으로 근사하기 위해 랜덤 샘플링 행렬을 활용하는 확률적 최적화 프레임워크를 개발한다.
• 확률적 준뉴턴 방법의 이론적 수렴 보장을 확립하고, 확률적 뉴턴 방법의 한계를 규명한다.
• 샘플링 행렬의 희소성과 구조를 활용하여 대규모 문제의 효율적 해법을 가능하게 한다.

제안 방법

• E[WW^T] = βI_m 를 만족하는 랜덤 행렬 W를 사용하여 최소제곱 문제를 확률적 최적화 과제로 재구성한다.
• 기댓값이 원래 최소제곱 목적함수와 일치하는 확률적 목적함수 f_W(x) = (1/(2β)) ||W^T(Ax - b)||^2 를 정의한다.
• 표본 평균 근사(SAA) 대신 확률적 근사(SA)를 사용하여, 새로운 랜덤 샘플을 반복적으로 갱신함으로써 해를 반복적으로 업데이트한다.
• 샘플된 W 행렬 기반의 확률적 헤시안 근사값을 사용하는 확률적 뉴턴 방법을 제안한다.
• 과거 샘플과 함께 재귀적 갱신을 사용하여 역헤시안 근사값을 유지하고 갱신하는 확률적 준뉴턴 방법을 개발한다.
• H_k A 가 안정성과 수렴성을 보장하는 투영 행렬로 작용하는 투영 기반 갱신 체계를 도입한다.

실험 결과

연구 질문

• RQ1 대규모 비일관성 있는 선형 시스템에서 확률적 뉴턴 방법은 진정한 최소제곱 해로 수렴할 수 있는가?
• RQ2 확률적 준뉴턴 방법이 거의 확실히 최소제곱 해로 수렴하는 조건은 무엇인가?
• RQ3 희소하고 구조적인 샘플링 행렬의 사용이 확률적 최적화 방법의 수렴성과 계산 효율성에 어떤 영향을 미치는가?
• RQ4 최소제곱 문제의 맥락에서 확률적 뉴턴 방법의 이론적 한계는 확률적 준뉴턴 방법에 비해 무엇인가?
• RQ5 샘플된 데이터로부터의 곡률 정보를 반복적 해법에 효율적으로 통합하여 대규모 문제의 수렴 속도를 가속화할 수 있는가?

주요 결과

• 비일관성 있는 시스템에서도 표준 가정 하에 확률적 준뉴턴 반복은 진정한 최소제곱 해로 거의 확실히 수렴한다.
• 비일관성 있는 시스템에서는 확률적 뉴턴 반복이 원하는 해로 수렴하지 않을 수 있으며, 관련 문제의 다른 해로 수렴할 수 있다.
• 수렴 조건 ∑α_k = ∞ 와 ∑α_k² < ∞ 를 만족할 경우, 확률적 준뉴턴 방법의 수렴이 보장되며, 오차 e_k 는 거의 확실히 0으로 수렴한다.
• 확률적 준뉴턴 방법에서 역헤시안 근사값은 이전 모든 샘플의 정보를 통합하는 재귀적 방법을 통해 효율적으로 갱신된다.
• 희소한 샘플링 행렬 W 의 실현을 사용함으로써 행렬-벡터 곱셈의 비용을 줄여 계산 효율성을 달성한다.
• 극단적 학습 기계에서의 실험을 포함한 수치 실험은 제안된 방법이 표준 해법 대비 실용성과 성능 향상을 보임을 보여준다.