[論文レビュー] Global Optimality in Tensor Factorization, Deep Learning, and Beyond

Benjamin D. Haeffele, Renè Vidal|arXiv (Cornell University)|Jun 24, 2015

Tensor decomposition and applications参考文献 20被引用数 105

ひとこと要約

本稿は、テンソル因子分解やディープラーニングなどの非凸因子分解問題を、凸緩和の原則を活用することで一般化されたフレームワークを導入する。十分に大きな要因サイズの下では、任意の局所的最小値がグローバルに最適であり、局所的勾配降下アルゴリズムが任意の初期化からグローバル最小値に収束することを証明する。

ABSTRACT

Techniques involving factorization are found in a wide range of applications and have enjoyed significant empirical success in many fields. However, common to a vast majority of these problems is the significant disadvantage that the associated optimization problems are typically non-convex due to a multilinear form or other convexity destroying transformation. Here we build on ideas from convex relaxations of matrix factorizations and present a very general framework which allows for the analysis of a wide range of non-convex factorization problems - including matrix factorization, tensor factorization, and deep neural network training formulations. We derive sufficient conditions to guarantee that a local minimum of the non-convex optimization problem is a global minimum and show that if the size of the factorized variables is large enough then from any initialization it is possible to find a global minimizer using a purely local descent algorithm. Our framework also provides a partial theoretical justification for the increasingly common use of Rectified Linear Units (ReLUs) in deep neural networks and offers guidance on deep network architectures and regularization strategies to facilitate efficient optimization.

研究の動機と目的

• 行列およびテンソル因子分解問題における非凸性の課題に取り組む。これは、実用的な成功にもかかわらず最適化を妨げる要因である。
• ReLU活性化関数および現代のディープニューラルネットワークアーキテクチャの最適化における有効性を理論的に裏付ける。
• 非凸因子分解問題における局所的最小値がグローバルに最適である条件を確立する。
• グローバル収束を保証する、効率的な最適化を可能にするディープネットワークアーキテクチャおよび正則化戦略の設計を支援する。

提案手法

• 行列、テンソル、およびディープニューラルネットワークの因子分解を含む、因子化モデルの一般化された非凸最適化フレームワークを提案する。
• 行列因子分解からの凸緩和技術を用い、因子化空間における非凸問題を分析する。
• マッピングの同次性と正則化に基づく条件を導入し、グローバル最適性を保証する。
• 因子化テンソルの1スライスがゼロである場合、すべての局所的最小値がグローバルに最適であることを示すことで、最適化のランドスケープを分析する。
• 十分に大きな因子次元が与えられた場合、局所的勾配降下アルゴリズムが任意の初期化からグローバル最小値に収束することを確立する。
• ディープニューラルネットワークにこのフレームワークを適用する。ネットワークを正の同次マッピングとしてモデル化することで、出力空間の凸解析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非凸因子分解問題における局所的最小値がグローバル最小値であると保証される条件は何か？
• RQ2 因子化変数のサイズは、局所的最適化アルゴリズムのグローバル収束にどのように影響するか？
• RQ3 なぜReLUベースのディープネットワークは、シグモイドやtanh活性化関数を用いたものよりも最適化速度および性能で優れていることが多いのか？
• RQ4 現代のディープネットワークの構造は、凸緩和フレームワークを用いてグローバル最適性を保証する形で分析可能か？
• RQ5 ネットワークマッピングの同次性の度合いと正則化項のバランスが、グローバル収束を達成するために果たす役割は何か？

主な発見

• 因子化テンソルの1スライスがすべてゼロである場合、非凸最適化問題のすべての局所的最小値がグローバルに最適である。
• 因子化変数が十分に大きい場合、任意の局所的勾配降下アルゴリズムが、任意の妥当な初期化からグローバル最小値に収束する。
• このフレームワークは、ReLU活性化関数がディープラーニングで成功を収める理論的根拠を提供する。ReLUは正の同次性を示し、出力空間の凸解析を可能にする。
• 結果から、十分に太い（大きな因子サイズを持つ）アーキテクチャは、局所探索によるグローバル最適化に適していることが示唆される。
• ネットワークマッピングの同次性の度合いと正則化項のバランスをとることが、グローバル最適性を保証するために極めて重要である。
• このフレームワークは、明示的な正則化がなくても、単にネットワークの幅を広げることで十分にグローバル収束を保証できる可能性を示唆している。