[論文レビュー] Analysis of Krylov Subspace Solutions of Regularized Nonconvex Quadratic Problems

Yair Carmon, John C. Duchi|arXiv (Cornell University)|Jun 24, 2018

Matrix Theory and Algorithms被引用数 18

ひとこと要約

本稿は、正則化非凸二次問題に対するKrylov部分空間解法について、初めて収束速度解析を提供し、最適性ギャップが $1/t^2$ および $e^{-4t/\tilde{\rho}}$ の速度で減少することを示している。ここで $t$ はKrylov部分空間の次元、$\tilde{\rho}$ は一般化された条件数である。解析は信頼領域問題および立方則正則化問題の両方に適用可能であり、タイトな下界を確立し、ランダム初期化を用いることで「ハードケース」を回避する。

ABSTRACT

We provide convergence rates for Krylov subspace solutions to the trust-region and cubic-regularized (nonconvex) quadratic problems. Such solutions may be efficiently computed by the Lanczos method and have long been used in practice. We prove error bounds of the form $1/t^2$ and $e^{-4t/\sqrtκ}$, where $κ$ is a condition number for the problem, and $t$ is the Krylov subspace order (number of Lanczos iterations). We also provide lower bounds showing that our analysis is sharp.

研究の動機と目的

• Krylov部分空間法が正則化非凸二次問題を解く際の理論的収束保証の欠如に対処する。
• 信頼領域および立方則正則化部分問題に対するKrylov部分空間解法の収束速度を提供する。
• 凸二次問題および固有ベクトル問題の既知の結果を特別な場合として統合・拡張する。
• 最小固有ベクトルと初期ベクトルの内積 $|u_{\text{min}}^T b|$ が小さい「ハードケース」を回避するため、初期ベクトルにランダム化を導入する。
• 導出された収束速度の最適性を示すためにタイトな下界を確立する。

提案手法

• Lanczos法を用いて次元 $t$ のKrylov部分空間 $\mathcal{K}_t(A,b) = \mathrm{span}\{b, Ab, \dots, A^{t-1}b\}$ を構築する。
• 部分問題を $\mathcal{K}_t(A,b)$ 上での正則化二次目的関数の最小化として定式化し、三重対角化とニュートン法により解けるようにする。
• 最適性ギャップの多項式近似境界を用いて収束を解析し、固有値分布および条件数 $\kappa$ と関連付ける。
• 初期ベクトル $b$ にランダム化を導入することで、$|u_{\min}^T b|$ を $\Theta(1/\sqrt{d})$ に置き換え、ハードケースを回避する。
• 部分最適性ギャップの上界として $O(1/t^2)$ および $O(e^{-4t/\sqrt{\kappa}})$ を導出する。
• 収束速度のタイトさを示すために、一致する下界を確立する。

実験結果

リサーチクエスチョン

• RQ1 Krylov部分空間解法の正則化非凸二次問題に対する収束速度は何か？
• RQ2 部分最適性ギャップは、Krylov部分空間の次元 $t$ および一般化された条件数 $\kappa$ の関数として有界にできるか？
• RQ3 初期ベクトル $b$ のランダム化は、$|u_{\min}^T b|$ が小さい「ハードケース」における収束にどのように影響するか？
• RQ4 導出された収束速度はタイトか？一致する下界を確立できるか？
• RQ5 本稿の結果は、凸二次問題および固有ベクトル問題に関する先行研究をどのように統合・拡張するか？

主な発見

• Krylov部分空間解法の部分最適性ギャップは $O(1/t^2)$ の速度で減少し、非反復的手法における最良の既知のレートと一致する。
• 一般化された条件数 $\kappa$ を用いた指数的収束速度 $O(e^{-4t/\sqrt{\kappa}})$ が確立された。
• 解析はタイトである：一致する下界が提示され、導出されたレートは一般には改善できないことが示された。
• 初期ベクトル $b$ のランダム化により、$1/t^2$ の境界が $|u_{\min}^T b|$ に依存しなくなり、ハードケースを回避できる。
• 結果は信頼領域問題および立方則正則化問題の両方に一様に適用可能であり、先行研究が片方のバリアントにのみ対応していたのとは対照的である。
• 数値実験により、固有値ギャップ $\gamma$ が小さい場合に、$\sim \log d / \sqrt{\gamma}$ 回の反復後にランダム化により線形収束が達成されることを確認した。