[論文レビュー] Globally Convergent Stochastic Optimization for Canonical Correlation Analysis.

Weiran Wang, Jialei Wang+1 more|arXiv (Cornell University)|Apr 7, 2016

Stochastic Gradient Optimization Techniques参考文献 20被引用数 6

ひとこと要約

本稿では、正準相関分析（CCA）のためのグローバル収束性を有する確率的最適化アルゴリズムを提案する。非凸的かつ非分解可能な目的関数を扱うために、交互最小二乗法の定式化と近似確率的勾配法を活用する。本手法は、従来の手法と比較して著しく改善された時間計算量と優れた実験的性能を達成する。

ABSTRACT

We study the stochastic optimization of canonical correlation analysis (CCA), whose objective is nonconvex and does not decouple over training samples. Although several stochastic optimization algorithms have been recently proposed to solve this problem, no global convergence guarantee was provided by any of them. Based on the alternating least squares formulation of CCA, we propose a globally convergent stochastic algorithm, which solves the resulting least squares problems approximately to sufficient accuracy with state-of-the-art stochastic gradient methods for convex optimization. We provide the overall time complexity of our algorithm which significantly improves upon that of previous work. Experimental results demonstrate the superior performance of our algorithm.

研究の動機と目的

• 既存のCCA用確率的最適化手法に見られるグローバル収束保証の欠如に対処すること。
• 学習サンプル上での非凸的かつ非分解可能な目的関数を扱うCCA用グローバル収束アルゴリズムの開発。
• 最小二乗部分問題の効率的近似解法を用いることで、従来の確率的CCA手法と比較して時間計算量を改善すること。
• 理論的収束保証を維持しつつ、実世界のデータセットにおいて実用的な効率性を達成すること。

提案手法

• 反復的最適化を可能にするために、CCAを交互最小二乗問題に再定式化する。
• 最新の確率的勾配法を用い、十分な精度で得られる凸部分問題を近似的に解く。
• 2つの正準ベクトル集合の間を交互に最適化することで、臨界点への収束を保証する。
• 交互最小二乗法の構造を活用し、やや弱い条件下でもグローバル収束を理論的に確立する。
• 時間計算量を分析し、従来の確率的CCA手法よりも著しく優れていることを示す。

実験結果

リサーチクエスチョン

• RQ1 非凸的かつ非分解可能な目的関数を持つCCAのための確率的最適化アルゴリズムは、グローバル収束を達成できるか？
• RQ2 グローバル収束を保証するためには、部分問題をどの程度の精度で解く必要があるか？
• RQ3 提案手法の時間計算量は、既存の確率的CCA手法と比較してどうなるか？
• RQ4 実世界のデータセットにおいて、本手法はどの程度の実験的性能向上を達成するか？

主な発見

• 提案手法はCCAに対してグローバル収束を達成し、従来の確率的手法の主要な限界を解消する。
• 本手法の時間計算量は、従来の確率的CCAアプローチと比較して著しく低い。
• 実験結果から、ベンチマークデータセットにおける収束速度と解の品質の両面で優れた性能が示された。
• 部分問題の近似解法を用いることで、理論的収束保証を維持しつつ実用的な効率性を達成した。