[論文レビュー] Fast Rates for Empirical Risk Minimization of Strict Saddle Problems

Alon Gonen, Shai Shalev‐Shwartz|arXiv (Cornell University)|Jan 16, 2017

Sparse and Compressive Sensing Techniques参考文献 18被引用数 6

ひとこと要約

この論文は、勾配ノルムの境界とスペクトル分解を活用することで、厳密なサドル問題における経験的リスク最小化の高速収束レートを確立する。勾配ノルムが小さいとき、解はグローバル最適解に近いことが証明され、ヘッセ行列と固有値分布に関する緩い条件下で高速レートが達成される。

ABSTRACT

We derive bounds on the sample complexity of empirical risk minimization (ERM) in the context of minimizing non-convex risks that admit the strict saddle property. Recent progress in non-convex optimization has yielded efficient algorithms for minimizing such functions. Our results imply that these efficient algorithms are statistically stable and also generalize well. In particular, we derive fast rates which resemble the bounds that are often attained in the strongly convex setting. We specify our bounds to Principal Component Analysis and Independent Component Analysis. Our results and techniques may pave the way for statistical analyses of additional strict saddle problems.

研究の動機と目的

• 非凸問題における厳密なサドル点を有する場合の、経験的リスク最小化における高速収束の達成という課題に対処する。
• 高次元設定において、勾配ノルムの境界がグローバル最適解への近接性を示す条件を調査する。
• 固有値分布とヘッセ行列構造の観点から、収束速度に関する理論的保証を提供する。
• 厳密なサドル問題において、小さな勾配ノルムとグローバル解への近接性との間の関係を確立する。

提案手法

• ヘッセ行列 $ A $ の固有基底において解ベクトル $ w $ を分解し、$ w = \sum_{i=1}^d \alpha_i u_i $ と表現する。
• 仮定 $ \|\nabla f(w)\| \leq \tau = cG $ を用いて、二次形式 $ \| (\lambda I - A)w \|^2 = \sum_{i=1}^d \alpha_i^2 (\lambda - \lambda_i)^2 $ を境界付ける。
• マーコフの不等式を適用して、$ \lambda $ から遠く離れた固有値の質量を制御し、区間 $ I_t = \{ i : |\lambda - \lambda_i| \leq 2^t \tau \} $ を定義する。
• 固有値が $ \lambda $ から離れている確率的質量が指数的に減少することを示し、主な固有値の周囲に集中することを示す。
• $ u_1 $ が最適であるという事実（$ \lambda \leq \lambda_1 $）を活用し、グローバル解からの逸脱を境界付ける。
• 小さな勾配ノルムが、幾何的誤差条件定義における第二または第三の条件を満たすことを示し、高速収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 小さな勾配ノルムが、厳密なサドル問題においてグローバル最適解への近接性を示す条件は何か？
• RQ2 ヘッセ行列の固有値分布が、経験的リスク最小化における収束速度にどのように影響するか？
• RQ3 マーコフの不等式は、非凸最適化における遠く離れた固有値の寄与を効果的に境界付けることができるか？
• RQ4 厳密なサドル問題において、勾配ノルムとヘッセ行列の幾何的構造の関係は何か？
• RQ5 スペクトル分解と固有値のクラスタリングは、勾配法の収束速度にどのように影響するか？

主な発見

• $ c \in (0, 1/32) $ のもとで $ \|\nabla f(w)\| \leq \tau = cG $ ならば、解 $ w $ は幾何的誤差条件定義における第二または第三の条件を満たす。
• 二次形式 $ \| (\lambda I - A)w \|^2 = \sum_{i=1}^d \alpha_i^2 (\lambda - \lambda_i)^2 $ は $ \tau^2 $ で境界付けられ、勾配の大きさとスペクトル的逸脱の間の関係が示される。
• マーコフの不等式を用いて、$ \lambda $ から遠く離れた固有値の質量が小さいことが示され、区間 $ I_t $ は $ \lambda $ から $ 2^t \tau $ 以内の固有値を捉える。
• 確率的ベクトル $ \alpha^2 $ により、$ \lambda $ から遠く離れた固有値に集中する $ \alpha_i^2 $ の質量が制御され、高速収束が導かれる。
• 最適性から得られる仮定 $ \lambda \leq \lambda_1 $ により、主な固有値が解の挙動を支配することが保証される。
• 解析により、小さな勾配ノルムが、高次元空間においても厳密なサドル構造下で高速収束レートを示すことが確立された。