[논문 리뷰] Stochastic Second-Order Optimization via von Neumann Series

Mojmír Mutný|arXiv (Cornell University)|2016. 12. 14.

Stochastic Gradient Optimization Techniques참고 문헌 12인용 수 7

한 줄 요약

이 논문은 선형 모델의 대규모 훈련을 효율적으로 가능하게 하는 스토하스틱 제2차 최적화 알고리즘인 ISSA를 제안한다. von Neumann 급수를 사용하여 헤시안의 역행렬을 반복적으로 근사하며, 이로 인해 더 엄격한 조건 없이 선형 수렴을 달성한다. 수치 실험에서 L-BFGS 성능을 따라가며, LISSA에 비해 더 뛰어난 안정성과 더 적은 파라미터 의존성을 보였다.

ABSTRACT

A stochastic iterative algorithm approximating second-order information using von Neumann series is discussed. We present convergence guarantees for strongly-convex and smooth functions. Our analysis is much simpler in contrast to a similar algorithm and its analysis, LISSA. The algorithm is primarily suitable for training large scale linear models, where the number of data points is very large. Two novel analyses, one showing space independent linear convergence, and one showing conditional quadratic convergence are discussed. In numerical experiments, the behavior of the error is similar to the second-order algorithm L-BFGS, and improves the performance of LISSA for quadratic objective function.

연구 동기 및 목표

• 대규모 선형 모델을 위한 더 효율적이고 안정적인 스토하스틱 제2차 최적화 알고리즘을 개발하기 위해.
• 기존 방법들(예: LISSA)에 비해 수렴 분석을 단순화하여 온전한 초기화(워밍 스타트)가 필요 없도록 하기 위해.
• 구현과의 일치를 고려하여 파라미터 의존성을 줄여 실용적 구현을 가능하게 하기 위해.
• 특정 기울기 조건 하에서 조건부 이차 수렴을 탐색하기 위해.
• 최신 헤시안 샘플을 더 높은 가중치로 부여함으로써 온라인 및 적응형 설정에서의 안정성을 향상시키기 위해.

제안 방법

• 알고리즘은 비편향된 헤시안 샘플을 사용하여 von Neumann 급수 전개를 통해 헤시안 역행렬의 근사를 반복적으로 구성한다.
• 고정된 스텝 사이즈를 사용하며, 샘플된 헤시안 행렬 기반의 단절된 급수를 이용해 역행렬 근사치를 갱신한다.
• 헤시안의 스펙트럴 노름이 최대 1이 되도록 스케일링된다고 가정하여 급수의 수렴을 보장한다.
• 두 가지 변종을 도입한다: 과거 헤시안 샘플을 재사용하는 실용적 버전과 전체 재추정이 필요한 이론적 버전.
• 기울기와 헤시안 샘플이 독립적으로 추출되는 온라인 변종을 제안하여 비정적 목적 함수에의 적응 가능성을 높인다.
• 알고리즘은 오래된 정보를 자연스럽게 가중치를 낮추도록 설계되어, 시간에 따라 변화하는 최적화 문제에서 적응 행동을 지원한다.

실험 결과

연구 질문

• RQ1 von Neumann 급수를 기반으로 한 스토하스틱 제2차 최적화 방법이 워밍 스타트가 필요 없이 선형 수렴을 달성할 수 있는가?
• RQ2 조건부 이차 수렴이 제안된 방법의 초기 수렴 속도 향상과 관련이 있는가?
• RQ3 대규모 이차 목적 함수 및 실제 데이터셋에서 ISSA의 성능이 L-BFGS 및 LISSA와 비교해 어떻게 되는가?
• RQ4 기울기 추정기와 헤시안 추정기 간의 공유 샘플링이 알고리즘 안정성에 어떤 영향을 미치는가?
• RQ5 오래된 정보를 자연스럽게 가중치를 낮추는 방식으로 알고리즘이 비정적 목적 함수에 효과적으로 적응할 수 있는가?

주요 결과

• LISSA보다 더 엄격한 조건 없이 공간에 영향을 받지 않는 선형 수렴을 달성한다. 최적해에 초기 근접이 필요하지 않다.
• 특정 기울기 조건 하에서 조건부 이차 수렴 속도가 확립되었으며, 이는 방법의 초기 단계에서의 빠른 진전을 설명한다.
• 수치 실험 결과, ISSA의 오차 행동은 L-BFGS와 유사하게 나타나 이차 목적 함수에서 LISSA를 능가한다.
• 헤시안 샘플링 배치 크기가 기울기 샘플링 배치 크기를 초과할 경우 안정성 문제가 발생하여, 기울기 배치 크기를 적응적으로 증가시킬 필요가 있음을 시사한다.
• 기울기 배치 크기를 시간에 따라 적응적으로 증가시킬 경우, 알고리즘이 더 뛰어난 안정성과 더 빠른 수렴을 보였다.
• 메서드는 오래된 헤시안 정보를 자연스럽게 가중치를 낮추므로, 온라인 및 비정적 최적화 설정에 적합하다는 점을 시사한다.