[論文レビュー] On the Gap Between Strict-Saddles and True Convexity: An Omega(log d) Lower Bound for Eigenvector Approximation

Max Simchowitz, A. El Alaoui+1 more|arXiv (Cornell University)|Apr 14, 2017

Stochastic Gradient Optimization Techniques参考文献 50被引用数 7

ひとこと要約

本稿は、オракルモデルにおける適応的・確率的アルゴリズムを用いた対称行列の最大固有ベクトルの近似において、クエリ複雑度に Ω(log d) の下界を確立する。この結果は、凸最適化と厳密なサドル型最適化の間の根本的な隔たりを示している：凸問題における勾配に基づく手法は次元に依存しない複雑度を有するが、代表的な厳密なサドル型問題であるランク1 PCA においては、勾配に基づく手法が次元に対し対数的依存を示す必要があり、固有値ギャップが有界であっても同様である。

ABSTRACT

We prove a \emph{query complexity} lower bound on rank-one principal component analysis (PCA). We consider an oracle model where, given a symmetric matrix $M \in \mathbb{R}^{d imes d}$, an algorithm is allowed to make $T$ \emph{exact} queries of the form $w^{(i)} = Mv^{(i)}$ for $i \in \{1,\dots,T\}$, where $v^{(i)}$ is drawn from a distribution which depends arbitrarily on the past queries and measurements $\{v^{(j)},w^{(j)}\}_{1 \le j \le i-1}$. We show that for a small constant $ε$, any adaptive, randomized algorithm which can find a unit vector $\widehat{v}$ for which $\widehat{v}^{ op}M\widehat{v} \ge (1-ε)\|M\|$, with even small probability, must make $T = Ω(\log d)$ queries. In addition to settling a widely-held folk conjecture, this bound demonstrates a fundamental gap between convex optimization and "strict-saddle" non-convex optimization of which PCA is a canonical example: in the former, first-order methods can have dimension-free iteration complexity, whereas in PCA, the iteration complexity of gradient-based methods must necessarily grow with the dimension. Our argument proceeds via a reduction to estimating the rank-one spike in a deformed Wigner model. We establish lower bounds for this model by developing a "truncated" analogue of the $χ^2$ Bayes-risk lower bound of Chen et al.

研究の動機と目的

• ランク1 PCA のような厳密なサドル型最適化問題を勾配に基づく手法で最適化する際の本質的困難さに関する広く信じられている予想を解消すること。
• 勾配に基づくアルゴリズムの反復複雑度が、真に凸な設定とは異なり、環境次元に依存して増加するかどうかを調査すること。
• アルゴリズムが行列-ベクトル積にアクセスするオラクルクエリモデルにおいて、固有ベクトル近似の次元依存下界を確立すること。
• 固有値ギャップが非ゼロに有界であっても、適応的・確率的アルゴリズムが非可視確率で対数未満のクエリ複雑度を達成できないことを示すこと。
• クエリ複雑度とアルゴリズム的効率の観点から、凸最適化と非凸（厳密なサドル型）最適化の間の根本的分離を形式化すること。

提案手法

• 固有ベクトル近似問題を、変形されたウィグナー確率行列モデルにおけるランク1スパイクの推定問題に還元する。
• Chen ら [26] の χ² ベイズリスク下界技術の断片化版を考案し、適応的クエリ設定における情報理論的限界を確立する。
• Fanoの不等式を再帰的に適用し、適応的かつ確率的性質を持つアルゴリズムにおける1クエリあたりの情報量の増加を制御する。
• 球面等周問題を用いて、ランダムな単位ベクトルと固定方向との内積の集中を制限し、尾確率推定を可能にする。
• 仮説検定への還元を用い、作用素ノルムが λ より大きいか 2+o(1) より小さいかを区別するには Ω(log d / log λ) のクエリが必要であることを示す。
• 隠れたスパイク方向に関する事後分布をモデル化することで、適応的測定戦略の情報理論的限界を分析する。

実験結果

リサーチクエスチョン

• RQ1 ランク1 PCA のような厳密なサドル型最適化問題に対する勾配に基づく手法は、凸最適化と同様に次元に依存しない反復複雑度を達成できるか？
• RQ2 任意の適応的・確率的アルゴリズムが、最適値の定数倍以内に最大固有ベクトルを近似するために必要な最小の行列-ベクトルクエリ数は何か？
• RQ3 固有値ギャップがゼロから離れている場合でも、厳密なサドル型設定における固有ベクトル近似に次元 d に対する対数的依存が必要か？
• RQ4 PCA における勾配に基づく手法のクエリ複雑度は d に依存せず、あるいは Ω(log d) が根本的な下界か？
• RQ5 変形されたウィグナー行列におけるランク1スパイク推定の情報理論的複雑度は、次元 d に対してどのようにスケーリングされるか？

主な発見

• 非可視確率で $\widehat{v}^\top M\widehat{v} \geq \Omega(\|M\|)$ を満たす単位ベクトル $\widehat{v}$ を得る任意の適応的・確率的アルゴリズムは、$T = \Omega(\log d)$ のクエリを実行する必要がある。
• クエリ数 $T$ が $\log d / \log(1/\gamma)$ の小さな定数倍に制限される場合、成功確率は $e^{-d^{\Omega(1)}}$ 未満となり、成功確率が指数的に減少することが示される。
• 作用素ノルム $\|M\| \geq \lambda$ かどうかをテストするには、$\lambda \geq 2 + \Omega(1)$ の場合、$\Omega(\log d / \log \lambda)$ の適応的クエリが必要である。
• 下界は、敵対的インスタンスに限らず、典型的な対称行列（変形されたウィグナーモデルに従う）に対しても成り立つため、$\log d$ 要因は問題そのものに内在していることが示される。
• この結果により、凸最適化と厳密なサドル型最適化の間の根本的隔たりが確立される：凸問題では次元に依存しない反復複雑度が可能であるが、PCA では $\Omega(\log d)$ のクエリが必要となる。
• 解析により、パワー法やランチョス法が、対数因子の範囲内で情報理論的に最適であることが確認され、そのクエリ複雑度が下界と一致する。