[논문 리뷰] Analysis of Krylov Subspace Solutions of Regularized Nonconvex Quadratic Problems

Yair Carmon, John C. Duchi|arXiv (Cornell University)|2018. 06. 24.

Matrix Theory and Algorithms인용 수 18

한 줄 요약

이 논문은 정규화된 비볼록 2차 문제에 대한 크릴로프 부분공간 해법에 대한 최초의 수렴 속도 분석을 제공하며, $1/t^2$ 및 $e^{-4t/\tilde{\rho}}$ 속도로 하위최적성 갭이 감소함을 보여준다. 여기서 $t$는 크릴로프 부분공간 차원이고, $\tilde{\rho}$는 일반화된 조건수이다. 분석은 트러스트 영역 및 삼차 정규화 문제 모두에 적용되며, 날카로운 하한을 설정하고, 하드 케이스를 피하기 위해 랜덤화된 초기화를 활용한다.

ABSTRACT

We provide convergence rates for Krylov subspace solutions to the trust-region and cubic-regularized (nonconvex) quadratic problems. Such solutions may be efficiently computed by the Lanczos method and have long been used in practice. We prove error bounds of the form $1/t^2$ and $e^{-4t/\sqrtκ}$, where $κ$ is a condition number for the problem, and $t$ is the Krylov subspace order (number of Lanczos iterations). We also provide lower bounds showing that our analysis is sharp.

연구 동기 및 목표

• 크릴로프 부분공간 방법이 정규화된 비볼록 2차 문제를 해결할 때 이론적 수렴 보장을 부족한 문제를 해결한다.
• 트러스트 영역 및 삼차 정규화 하위문제에 대한 크릴로프 부분공간 해법의 수렴 속도를 제공한다.
• 볼록 2차 문제 및 고유벡터 문제의 기존 결과를 특수 케이스로 통합하고 확장한다.
• 최소 고유벡터의 내적 $|u_{\text{min}}^T b|$에 대한 의존성을 피하기 위해 랜덤화를 도입함으로써 비볼록 문제의 '하드 케이스'를 극복한다.
• 유도된 수렴 속도의 최적성임을 보여주기 위해 날카로운 하한을 설정한다.

제안 방법

• 랜츠 방법을 사용하여 $\mathcal{K}_t(A,b) = \mathrm{span}\{b, Ab, \dots, A^{t-1}b\}$ 의 차원 $t$를 가지는 크릴로프 부분공간을 구성한다.
• 하위문제를 $\mathcal{K}_t(A,b)$ 위에서 정규화된 2차 목적함수를 최소화하는 것으로 설정하며, 이는 삼중대각화 및 뉴턴 방법을 통해 해결 가능하다.
• 수렴 분석을 위해 최적성 갭에 대한 다항식 근사 하한을 사용하며, 고유값 분포 및 조건수 $\kappa$와 연결한다.
• 초기 벡터 $b$에 대한 랜덤화를 도입하여 $|u_{\min}^T b|$ 를 $\Theta(1/\sqrt{d})$ 로 대체함으로써 하드 케이스를 회피한다.
• 하위최적성 갭에 대해 $O(1/t^2)$ 및 $O(e^{-4t/\sqrt{\kappa}})$ 의 상한을 도출한다.
• 유도된 수렴 속도의 날카로운 하한을 설정하여 그 타당성을 입증한다.

실험 결과

연구 질문

• RQ1 크릴로프 부분공간 해법이 정규화된 비볼록 2차 문제에 대해 수렴 속도는 무엇인가?
• RQ2 하위최적성 갭은 크릴로프 부분공간 차원 $t$ 와 일반화된 조건수 $\kappa$ 로 표현될 수 있는가?
• RQ3 초기 벡터 $b$ 의 랜덤화가 $|u_{\min}^T b|$ 가 작은 하드 케이스에서 수렴에 어떤 영향을 미치는가?
• RQ4 유도된 수렴 속도는 날카로운가? 일치하는 하한을 설정할 수 있는가?
• RQ5 기존의 볼록 2차 문제 및 고유벡터 문제에 대한 연구를 어떻게 통합하거나 확장하는가?

주요 결과

• 크릴로프 부분공간 해법의 하위최적성 갭은 $O(1/t^2)$ 속도로 감소하며, 비반복적 방법에서 알려진 최고의 속도와 일치한다.
• 일반화된 조건수 $\kappa$ 를 사용하여 $O(e^{-4t/\sqrt{\kappa}})$ 의 지수 수렴 속도를 확립한다.
• 분석은 날카롭다: 유사한 하한이 제공되어 유도된 속도가 일반적으로 향상될 수 없음을 보여준다.
• 초기 벡터 $b$ 의 랜덤화로 $1/t^2$ 상한이 $|u_{\min}^T b|$ 에 의존하지 않게 되어 하드 케이스를 피할 수 있다.
• 결과는 이전 연구가 한 가지 변형만 다루는 것과 달리 트러스트 영역 및 삼차 정규화 문제에 대해 균일하게 적용된다.
• 수치 실험은 고유값 갭 $\gamma$ 가 작을 경우 랜덤화가 약 $\log d / \sqrt{\gamma}$ 반복 후 선형 수렴을 가능하게 함을 확인한다.