[論文レビュー] A Stochastic Tensor Method for Non-convex Optimization

Aurélien Lucchi, Jonas Köhler|arXiv (Cornell University)|Nov 23, 2019

Tensor decomposition and applications参考文献 55被引用数 9

ひとこと要約

この論文は、非凸最適化のための確率的テンソル法を導入し、サブサンプルされた4次正則化モデルを用いて3次臨界点を特定する。有限和構造に特化した新しいテンソル集中不等式を導出することで、反復複雑性が $\mathcal{O}(\max(\epsilon_1^{-4/3}, \epsilon_2^{-2}, \epsilon_3^{-4}))$ に抑えられ、決定的手法のレートと一致する。

ABSTRACT

We present a stochastic optimization method that uses a fourth-order regularized model to find local minima of smooth and potentially non-convex objective functions with a finite-sum structure. This algorithm uses sub-sampled derivatives instead of exact quantities. The proposed approach is shown to find an $(\epsilon_1,\epsilon_2,\epsilon_3)$-third-order critical point in at most $\bigO\left(\max\left(\epsilon_1^{-4/3}, \epsilon_2^{-2}, \epsilon_3^{-4} ight) ight)$ iterations, thereby matching the rate of deterministic approaches. In order to prove this result, we derive a novel tensor concentration inequality for sums of tensors of any order that makes explicit use of the finite-sum structure of the objective function.

研究の動機と目的

• 滑らかで非凸な有限和問題において局所的最小値を効率的に見つける確率的最適化手法を開発すること。
• 正確な勾配や高次テンソルの代わりにサブサンプルされた導出を用いるにもかかわらず、決定的手法と同等の収束レートを達成すること。
• 確率的近似のもとで $(\epsilon_1, \epsilon_2, \epsilon_3)$-3次臨界点を求める理論的保証を確立すること。
• 目的関数の有限和構造を明示的に反映する新しいテンソル集中不等式を導出すること。

提案手法

• 目的関数を近似するために4次正則化モデルを用いることで、高次最適化を可能にする。
• 計算コストを削減するために、正確な勾配や高次テンソルの代わりにサブサンプルされた導出を用いる。
• サブサンプルされたテンソルとその期待値との乖離を制御するため、新しいテンソル集中不等式を導出する。
• 反復的に正則化されたサブサンプルモデルを用いて解を更新することで、3次臨界点への収束を保証する。
• 機械学習で一般的な滑らかで非凸な目的関数の有限和構造を扱えるように設計されている。
• 理論的分析では、有限和構造を活用することで、最適な反復複雑性を達成する。

実験結果

リサーチクエスチョン

• RQ1 非凸有限和最適化において、確率的テンソル法は決定的手法と同等の収束レートを達成できるか？
• RQ2 非凸設定において、サブサンプルされた導出を用いて高次情報をどのように効率的に近似できるか？
• RQ3 有限和目的関数のためのサブサンプルされた高次テンソルの誤差を制御するために必要な新しい集中不等式は何か？
• RQ4 この手法は、最適な反復複雑性を達成しながら $(\epsilon_1, \epsilon_2, \epsilon_3)$-3次臨界点を特定できるか？

主な発見

• アルゴリズムは、最大で $\mathcal{O}(\max(\epsilon_1^{-4/3}, \epsilon_2^{-2}, \epsilon_3^{-4}))$ 回の反復で $(\epsilon_1, \epsilon_2, \epsilon_3)$-3次臨界点を特定する。
• サブサンプルされた導出を用いているにもかかわらず、収束レートは決定的手法と一致する。
• 目的関数の有限和構造を明示的に反映する新しいテンソル集中不等式が導出された。
• 高次正則化モデルを用いることで、非凸有限和問題に対して最適な反復複雑性を達成する。
• 理論的分析により、導出のサブサンプル下でも手法の堅牢性が確認された。