[논문 리뷰] On the asymptotic rate of convergence of Stochastic Newton algorithms and their Weighted Averaged versions

Claire Boyer, Antoine Godichon‐Baggioni|arXiv (Cornell University)|2020. 11. 19.

Stochastic Gradient Optimization Techniques참고 문헌 16인용 수 3

한 줄 요약

이 논문은 기계 학습에서 온라인 최적화를 위한 새로운 유형의 확률적 뉴턴 알고리즘과 그 가중 평균 변형(WASNA)을 제안한다. 이는 리카티 공식을 이용한 효율적인 헤시안 역행렬 갱신을 통해 이차 정보를 활용한다. 이 방법은 O(1/n) 수렴 속도를 가지며 渐近적 효율성을 확보하며, 특히 악한 초기화 조건 하에서도 MNIST와 같은 실제 데이터셋과 합성 데이터셋에서 일阶 방법보다 뛰어난 성능을 보인다.

ABSTRACT

The majority of machine learning methods can be regarded as the minimization of an unavailable risk function. To optimize the latter, given samples provided in a streaming fashion, we define a general stochastic Newton algorithm and its weighted average version. In several use cases, both implementations will be shown not to require the inversion of a Hessian estimate at each iteration, but a direct update of the estimate of the inverse Hessian instead will be favored. This generalizes a trick introduced in [2] for the specific case of logistic regression, by directly updating the estimate of the inverse Hessian. Under mild assumptions such as local strong convexity at the optimum, we establish almost sure convergences and rates of convergence of the algorithms, as well as central limit theorems for the constructed parameter estimates. The unified framework considered in this paper covers the case of linear, logistic or softmax regressions to name a few. Numerical experiments on simulated data give the empirical evidence of the pertinence of the proposed methods, which outperform popular competitors particularly in case of bad initializa-tions.

연구 동기 및 목표

• 온라인 학습 환경에서 확률적 뉴턴 알고리즘과 그 평균화된 형태에 대한 통합 프레임워크를 개발하는 것.
• 리카티 공식을 사용하여 헤시안 행렬 전체의 역행렬을 계산하지 않음으로써, 각 반복 단계의 비용을 낮추면서도 이차 최적화를 가능하게 하는 것.
• 약한 가정 하에 이론적 수렴 속도와 渐近적 효율성을 확립하는 것.
• SGD나 Adagrad와 같은 일阶 방법과 비교해 악한 초기화에 대해 더 강건한 성능을 향상시키는 것.
• MNIST와 같은 실제 데이터셋에서의 성능 평가를 통해, 높은 계산 비용에도 불구하고 실용적 우수성을 입증하는 것.

제안 방법

• 기대 위험 함수 최소화를 위한 일반적인 확률적 뉴턴 알고리즘(SNA) 및 그 가중 평균 변형(WASNA)의 클래스를 제안한다.
• 리카티(Sherman-Morrison) 갱신 공식을 이용한 순환적 헤시안 역행렬 추정을 활용하여, 각 반복 단계의 비용을 O(d³)에서 O(d²)로 감소시킨다.
• 적응형 스텝 사이즈를 (n + c)⁻γ 형태로 사용하며, γ ∈ (0.5, 1)로 설정하여 이론적 수렴성과 안정성을 확보한다.
• 표준 및 로그 가중치를 사용하는 비균일 평균화 기법을 적용하여 실용적 성능 향상과 초기화에 대한 민감도 감소를 달성한다.
• 헤시안 고유값의 유계성과 손실 함수의 미세함을 포함한 약한 가정 하에 이론적 수렴 속도를 유도한다.
• 구조적 제약이 최소한인 로지스틱 회귀, 소프트맥스 회귀, 선형 모델 등에 적용 가능한 탄력적인 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 헤시안 역행렬을 각 단계에서 직접 계산하지 않으면서도, 온라인 환경에서 이차 최적화를 계산적으로 실현 가능한 수준으로 만들 수 있는가?
• RQ2 약한 정규성 조건 하에서 평균화된 확률적 뉴턴 방법의 渐近적 수렴 속도는 무엇인가?
• RQ3 가중 평균화 기법(표준 대비 로그 가중치)이 실용적 성능 및 초기화에 대한 강건성에 어떤 영향을 미치는가?
• RQ4 악한 초기화 조건 하에서도, 제안된 방법이 SGD나 Adagrad와 같은 일阶 온라인 알고리즘보다 수렴 속도와 정확도 면에서 뛰어나게 성능을 냈는가?
• RQ5 리카티 기반 헤시안 역행렬 갱신이 계산 비용을 감소시키면서도 이론적 보장을 유지하는 데 얼마나 효과적인가?

주요 결과

• 제안된 WASNA 알고리즘은 O(1/n) 수준의 渐近적 수렴 속도를 달성하며, 평균화된 일阶 방법의 이론적 효율성과 일치한다.
• 상관된 특징을 가진 로지스틱 회귀에 대한 수치 실험 결과, WASNA는 초기화가 최적점에서 멀리 떨어져 있을 경우(SGD, ASGD, Adagrad와 비교해) 뚜렷이 뛰어난 성능을 보였다(e.g., r₀ = 5).
• MNIST 데이터셋에서, 기본 WASNA 설정은 소프트맥스 회귀에서 테스트 정확도 88%를 달성했으며, 하이퍼파rameter 튜닝 없이도 일阶 기준선과 비교해 유사하거나 뛰어난 성능을 보였다.
• MNIST에 대한 혼동 행렬 분석 결과, WASNA는 오분류가 다소 발생하지만 예측 패턴이 잘 분포되어 있어 강건한 일반화 능력을 보였다.
• 실제로 로그 가중치를 사용한 WASNA는 표준 평균화보다 일관되게 뛰어난 성능을 보였으며, 더 높은 안정성과 초기화 민감도 감소를 제공했다.
• 리카티 기반 헤시안 역행렬 갱신은 각 반복 단계의 복잡도를 O(d²)로 유지함으로써, 대규모 문제에 대한 이차 온라인 학습을 실현 가능하게 하였다.