[논문 리뷰] Action constrained quasi-Newton methods

Robert M. Gower, Jacek Gondzio|arXiv (Cornell University)|2014. 12. 27.

Matrix Theory and Algorithms참고 문헌 37인용 수 12

한 줄 요약

이 논문은 Hessian의 저차원 부분공간에서의 행동 샘플링을 사용하여 역 Hessian 근사치를 구축하는 새로운 프레임워크인 동작 제약이 붙은 quasi-Newton 방법(quNac)을 소개한다. 이는 비정확한 Newton-CG 솔버에서 효율적이고 병렬적이며 강건한 조건부 조건화를 가능하게 한다. 이 방법은 이차 수렴성을 확보하고, 로지스틱 SVM 및 고전적 테스트 문제에서 비조건화된 Newton-CG에 비해 뛰어난 벽시계 성능을 보인다.

ABSTRACT

At the heart of Newton based optimization methods is a sequence of symmetric linear systems. Each consecutive system in this sequence is similar to the next, so solving them separately is a waste of computational effort. Here we describe automatic preconditioning techniques for iterative methods for solving such sequences of systems by maintaining an estimate of the inverse system matrix. We update the estimate of the inverse system matrix with quasi-Newton type formulas based on what we call an action constraint instead of the secant equation. We implement the estimated inverses as preconditioners in a Newton-CG method and prove quadratic termination. Our implementation is the first parallel quasi-Newton preconditioners, in full and limited memory variants. Tests on logistic Support Vector Machine problems reveal that our method is very efficient, converging in wall clock time before a Newton-CG method without preconditioning. Further tests on a set of classic test problems reveal that the method is robust. The action constraint makes these updates flexible enough to mesh with trust-region and active set methods, a flexibility that is not present in classic quasi-Newton methods.

연구 동기 및 목표

• 단일 방향이 아닌 부분공간에서 Hessian의 행동을 활용하는 유연하고 병렬 처리 가능한 quasi-Newton 프레임워크를 개발하는 것.
• 명시적인 Hessian 계산을 피하기 위해 행렬-벡터 곱만을 사용하여 저질감 업데이트를 가능하게 하는 역 Hessian 근사치의 효율적이고 저질감 업데이트를 제공하는 것.
• 확장 가능한 최적화를 위해 전체 메모리 및 제한된 메모리 변형을 포함한 Newton-CG 프레임워크에 방법을 통합하는 것.
• 양의 곡률 부분공간에서의 동작 제약를 통해 양의 정부호성과 이차 수렴성을 보장하는 것.
• 대규모 로지스틱 SVM 문제와 고전적 테스트 문제에서의 강건성과 효율성의 실증

제안 방법

• 전통적인 secant 방정식 대신 동작 제약을 사용하여, 업데이트된 역 Hessian 추정치가 주어진 부분공간의 방향에서 진짜 역 Hessian처럼 작동하도록 제약을 둔다.
• 양의 곡률 방향의 Krylov 기저에서 Hessian의 행동을 통해 저질감 업데이트를 유도하며, 근사치의 양의 정부호성을 보장한다.
• 역 Hessian 추정치는 Newton-CG 방법에서 조건부 조건자로 유지되며, 블록 행렬 연산을 사용해 병렬로 업데이트된다.
• 전체 메모리 및 제한된 메모리 변형을 구현하였으며, 제한된 메모리 버전은 과거 업데이트의 윈도우 기반 기록을 사용한다.
• 이 방법이 뉴턴 시스템에 적용될 경우 이차 수렴성의 유전성 특성을 갖는다는 것이 증명되었다.
• 샘플링 부분공간을 적응적으로 조정함으로써 신뢰영역 및 액티브세트 방법에 프레임워크를 유연하게 통합할 수 있다.

실험 결과

연구 질문

• RQ1 quasi-Newton 업데이트는 단일 벡터가 아닌 부분공간에서의 행동을 사용하도록 일반화될 수 있는가? 이는 정보 유입을 향상시키고 병렬 처리를 가능하게 하는가?
• RQ2 이러한 일반화가 Newton-CG 프레임워크에서 양의 정부호성과 이차 수렴성을 유지할 수 있는가?
• RQ3 동작 제약이 붙은 quasi-Newton 조건부 조건자 방법은 대규모 문제에서 비조건화된 Newton-CG에 비해 벽시계 시간 성능에서 뛰어나게 되는가?
• RQ4 이 방법은 비정상적인 조건 수를 가진 고전적 테스트 문제와 실제 로지스틱 SVM 문제에서 어떻게 성능을 발휘하는가?
• RQ5 적응적 부분공간 샘플링을 통해 이 방법은 신뢰영역 또는 액티브세트 최적화 프레임워크에 어떻게 민첩하게 통합될 수 있는가?

주요 결과

• 동작 제약이 붙은 quasi-Newton 방법은 Newton-CG 프레임워크에서 이차 수렴성을 확보하였으며, 전체 메모리 변형은 이차 수렴성의 유전성을 입증하였다.
• 로지스틱 손실과 정규화가 적용된 로지스틱 SVM 문제에서, 이 방법은 비조건화된 Newton-CG에 비해 더 빠른 벽시계 시간 내에 수렴하였다.
• 제한된 메모리 변형은 L-BFGS 유형의 업데이트를 위한 첫 번째 병렬 구현으로, 확장 가능한 블록 병렬 저질감 업데이트를 가능하게 하였다.
• 고전적 테스트 문제에서, 이 방법은 힐베르트 행렬과 워터슨 함수를 포함한 다양한 비정상적인 조건 수를 가진 시스템에서 강건한 성능을 보였다.
• n=1000인 힐베르트 행렬 함수의 경우, 이 방법은 21.76초 만에 완료되었고, 비조건화된 CG는 타임아웃이 발생하여 뚜렷한 효율성 향상을 입증하였다.
• 이 방법의 유연성 덕분에 음의 곡률 방향에서 샘플링을 수행함으로써 신뢰영역 모델에 적응시킬 수 있어 적용 범위가 확장되었다.