[논문 리뷰] Newton Sketch: A Linear-time Optimization Algorithm with Linear-Quadratic Convergence

Mert Pilancı, Martin J. Wainwright|arXiv (Cornell University)|2015. 05. 09.

Sparse and Compressive Sensing Techniques참고 문헌 17인용 수 38

한 줄 요약

이 논문은 뉴턴 방법을 랜덤 프로젝션을 이용해 헤시안 행렬을 근사하는 데 사용하는 랜덤화된 이阶 최적화 알고리즘인 Newton Sketch를 소개한다. 하단의 하다르드 변환을 활용함으로써 조건수에 영향을 받지 않는 선형-이차 수렴을 달성하며, 계산 복잡도가 조건수에 독립적이므로, 자가-동조 함수에 대해 증명된 전역 수렴 보장을 제공하는 선형 시간 대안을 제공한다.

ABSTRACT

We propose a randomized second-order method for optimization known as the Newton Sketch: it is based on performing an approximate Newton step using a randomly projected or sub-sampled Hessian. For self-concordant functions, we prove that the algorithm has super-linear convergence with exponentially high probability, with convergence and complexity guarantees that are independent of condition numbers and related problem-dependent quantities. Given a suitable initialization, similar guarantees also hold for strongly convex and smooth objectives without self-concordance. When implemented using randomized projections based on a sub-sampled Hadamard basis, the algorithm typically has substantially lower complexity than Newton's method. We also describe extensions of our methods to programs involving convex constraints that are equipped with self-concordant barriers. We discuss and illustrate applications to linear programs, quadratic programs with convex constraints, logistic regression and other generalized linear models, as well as semidefinite programs.

연구 동기 및 목표

• 뉴턴 방법에서 정확한 헤시안 행렬 계산의 높은 계산 비용을 피하면서도 확장 가능한 이계 최적화 방법을 개발하기 위해.
• 문제에 따라 달라지는 매개변수(예: 조건수 또는 매끄러움 정도)에 의존하지 않는 초선형 수렴을 달성하기 위해.
• 입력 크기의 선형 수준으로 반복 단계 복잡도를 감소시키면서도 자가-동조 함수에 대해 전역 수렴을 유지하는 방법을 설계하기 위해.
• 자기-동조 장벽을 사용하는 내부점 방법을 통해 제약 조건이 있는 최적화에 이 프레임워크를 확장하기 위해.
• 문제 차원에 따라 유리하게 척도가 조정되는 이론적 복잡도 경계를 제공하기 위해, 특히 고차원 설정에서 효과적으로 작동하도록 하기 위해.

제안 방법

• 랜덤 스케치 행렬(예: 하위표본 하다르드 변환)을 사용하여 헤시안 행렬을 낮은 차원의 부분공간에 투영함으로써 뉴턴 스텝을 근사한다.
• 더 작은 선형 시스템을 스케치된 헤시안에서 풀어 근사된 뉴턴 방향을 계산함으로써, 반복 단계 복잡도를 O(nd²)에서 O(nd log m + dm²)로 감소시킨다.
• 스케치 차원 m은 min{d, n}에 비례하게 선택되며, 특히 n ≫ d일 경우 구조적 문제에서는 훨씬 작아질 수 있다.
• 자기-동조 함수의 경우, 알고리즘은 강력한 볼록성 또는 매끄러움 매개변수에 영향을 받지 않는 선형-이차 수렴을 고도의 확률로 보장한다.
• 문제 스케일링과 데이터 구조에 대해 강건한 수렴 보장을 확보하기 위해 애핀 불변 분석을 활용한다.
• 제약 조건이 있는 문제의 경우, 장벽 방법과 통합되며, 내부점 프레임워크 내에서 뉴턴 스텝을 효율적으로 풀기 위해 스케칭을 활용한다.

실험 결과

연구 질문

• RQ1 헤시안 행렬에 대한 랜덤화 스케칭 접근법이 계산 비용을 줄이면서도 뉴턴 방법의 초선형 수렴을 유지할 수 있는가?
• RQ2 수렴을 고도의 확률로 보장하기 위해 필요한 스케치 차원 m은 얼마이며, 문제 크기와 어떻게 척도가 조정되는가?
• RQ3 뉴턴 스케치의 수렴 보장 조건을 조건수나 기타 문제에 따라 달라지는 매개변수로부터 독립적으로 만들 수 있는가?
• RQ4 n ≫ d 또는 d ≫ n인 고차원 설정에서 이 방법의 성능은 어떻게 되며, 적용 가능한 복잡도 경계는 무엇인가?
• RQ5 스케칭 프레임워크를 자기-동조 장벽을 갖는 제약 조건이 있는 최적화 문제로 확장할 수 있는가?

주요 결과

• 자기-동조 함수의 경우, Newton Sketch는 조건수나 매끄러움 매개변수에 영향을 받지 않는 지수적으로 높은 확률로 선형-이차 수렴을 달성한다.
• 하위표본 하다르드 스케치를 사용할 경우, 반복 단계 복잡도는 O(nd log m + dm²)이며, m ≈ d 이고 n ≥ d²일 경우 O(nd log d)로 감소하여 입력 크기의 선형 시간 복잡도를 달성한다.
• δ-최적 해에 도달하기 위한 총 복잡도는 O(nd log d log(1/δ))이며, 이는 강력한 볼록성 또는 매끄러움 매개변수에 영향을 받지 않는다.
• d > n일 경우, 이중 형식을 통해 d와 n의 역할을 바꾸어 유사한 복잡도를 달성하며, 동일한 수렴 보장을 유지한다.
• 이 방법은 장벽 방법을 통해 로지스틱 회귀, 이차 프로그래밍, 선형 프로그래밍, 그리고 준정형 프로그래밍에 적용 가능하며, 수렴성과 복잡도 경계에 대해 증명 가능하다.
• ℓ₁-제약 조건이 있는 문제의 경우, 희박성과 헤시안 구조를 활용해 탄성 면의 가우시안 폭을 유계화함으로써, 희박성 가정 하에 수렴 분석을 가능하게 한다.