[論文レビュー] Online Multiview Representation Learning: Dropping Convexity for Better Efficiency.

Zhehui Chen, Forest Yang+2 more|arXiv (Cornell University)|Feb 27, 2017

Stochastic Gradient Optimization Techniques参考文献 25被引用数 3

ひとこと要約

本稿では、2つの確率的勾配降下法（SGD）を用いた効率的な最適化を可能にする非凸な定式化を、オンライン多視点表現学習に提案する。拡散過程を用いたアルゴリズムダイナミクスの分析により、高い確率でグローバル最適解へのグローバル収束を確立し、非凸手法の理論と優れた実験的性能の間のギャップを埋める。

ABSTRACT

Multiview representation learning is very popular for latent factor analysis. It naturally arises in many data analysis, machine learning, and information retrieval applications to model dependent structures between a pair of data matrices. For computational convenience, existing approaches usually formulate the multiview representation learning as convex optimization problems, where global optima can be obtained by certain algorithms in polynomial time. However, many evidences have corroborated that heuristic nonconvex approaches also have good empirical computational performance and convergence to the global optima, although there is a lack of theoretical justification. Such a gap between theory and practice motivates us to study a nonconvex formulation for multiview representation learning, which can be efficiently solved by two stochastic gradient descent (SGD) methods. Theoretically, by analyzing the dynamics of the algorithms based on diffusion processes, we establish global rates of convergence to the global optima with high probability. Numerical experiments are provided to support our theory.

研究の動機と目的

• 非凸手法の実験的成功と、多視点表現学習における理論的優位性を持つ凸定式化の間の理論的ギャップを解消すること。
• 凸最適化の計算負荷を回避する、効率的かつスケーラブルなオンライン学習フレームワークを構築すること。
• 高い確率的保証のもとで、非凸多視点学習に対する厳密なグローバル収束速度を確立すること。
• 確率微分方程式と拡散過程を用いて、SGDに基づく最適化のダイナミクスを分析すること。
• 数値実験を通じて理論的発見を検証し、強力な実験的性能を示すこと。

提案手法

• 従来の凸緩和と比較して計算効率を向上させるために、オンライン多視点表現学習を非凸最適化問題として定式化する。
• 2つの確率的勾配降下法（SGD）アルゴリズムを用いて非凸問題を解き、オンラインかつ逐次的学習を可能にする。
• 反復の確率的挙動をモデル化するため、反復のダイナミクスを拡散過程を用いて分析する。
• 離散的SGDプロセスの連続時間近似を活用し、高い確率的境界のもとでグローバル最適解へのグローバル収束速度を導出する。
• 非凸最適化ダイナミクスと拡散過程を結びつける理論的フレームワークを導入し、厳密な収束解析を可能にする。
• 反復の確率密度の時間発展を特徴付けるために、フォッカー＝プランク方程式を用いることで、収束速度の推定を促進する。

実験結果

リサーチクエスチョン

• RQ1 先行研究で理論的裏付けが欠如しているにもかかわらず、非凸定式化が高確率でグローバル収束を達成できるか。
• RQ2 非凸多視点学習問題に適用した場合、確率的勾配降下法の収束速度と最適性はどのように振る舞うか。
• RQ3 非凸多視点学習の文脈において、SGDのダイナミクスと拡散過程との理論的関係は何か。
• RQ4 提案された非凸アプローチは、グローバル収束を維持しながら、凸定式化を上回る計算効率を達成できるか。
• RQ5 高い確率的境界のもとで、提案されたSGD手法のグローバル収束速度は何か。

主な発見

• 提案された非凸定式化により、凸手法と比較して著しく低い計算コストで効率的なオンライン学習が可能になる。
• 2つのSGD手法が、拡散過程の分析を通じて、高い確率でグローバル最適解へのグローバル収束を達成することが厳密に確立された。
• 高い確率的境界のもとで導出されたグローバル収束速度は、非凸手法の実験的成功に対する理論的裏付けを提供する。
• 数値実験により理論的予測が確認され、実際の応用において優れた実験的性能と高速な収束が示された。
• 拡散過程を用いた分析により、SGD反復の確率的ダイナミクスが定量可能な速度でグローバル解に収束することが明らかになった。
• このフレームワークにより、非凸アプローチの有効性を理論的に正当化することで、理論と実践のギャップを成功裏に埋めた。