[論文レビュー] Orthogonalized ALS: A Theoretically Principled Tensor Decomposition Algorithm for Practical Use

Vatsal Sharan, Gregory Valiant|arXiv (Cornell University)|Mar 6, 2017

Tensor decomposition and applications参考文献 44被引用数 11

ひとこと要約

本稿では、テンソル分解のための標準的で理論的根拠を持つ改良版であるOrthogonalized ALS（Orth-ALS）を提案する。最適化中に要因推定値を定期的に直交化することで、標準的な非一様性仮定のもとで真の低ランクテンソル要因を明示的に回復可能となる。一方で、標準ALSと同等の計算効率とスケーラビリティを維持する。合成データおよび実世界のデータ（3次共起テンソルからの単語埋め込み含む）において、標準ALSおよびSVD初期化ALSを著しく上回り、類似性および類推タスクで最大30%の性能向上を達成する。

ABSTRACT

The popular Alternating Least Squares (ALS) algorithm for tensor decomposition is efficient and easy to implement, but often converges to poor local optima---particularly when the weights of the factors are non-uniform. We propose a modification of the ALS approach that is as efficient as standard ALS, but provably recovers the true factors with random initialization under standard incoherence assumptions on the factors of the tensor. We demonstrate the significant practical superiority of our approach over traditional ALS for a variety of tasks on synthetic data---including tensor factorization on exact, noisy and over-complete tensors, as well as tensor completion---and for computing word embeddings from a third-order word tri-occurrence tensor.

研究の動機と目的

• 非一様な要因重みが存在する状況において、標準的な交替最小二乗法（ALS）の収束不良および局所最適解の問題を解決すること。
• ALSの計算効率と真の要因回復の強力な理論的保証を併せ持つ実用的なテンソル分解アルゴリズムの開発。
• 特にスパースかつ大規模な設定において、ノイズや過剰な要因（over-completeness）に対する耐性を高めること。
• 3次共起テンソルからの単語埋め込みの質を、分解プロセスの改善によって向上させること。

提案手法

• 最適化ループ中に要因推定値を定期的に直交化することで、複数の要因が同じ真の成分に収束するのを防ぐ。
• 各要因更新後に直交化手順を適用することで、標準ALSの更新ステップを変更し、推定要因が互いに直交したまま保たれることを保証する。
• 非一様性仮定とスペクトル解析に基づく理論的枠組みを用いて、直交化が悪い局所最適解への収束を防ぐことを証明する。
• 残差相関に伴い誤差が2乗的に減少することを示す、パワー反復スタイルの解析を用いて、要因および重み推定の誤差を境界化する。
• 正確なテンソル分解およびノイズありテンソル分解、さらにテンソル補完および単語埋め込み学習タスクに本アルゴリズムを適用する。
• 要因推定値の直交性を維持するための正規化および射影ステップを採用し、安定的かつ正確な収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 ALSの単純な改良である定期的直交化は、標準的な非一様性仮定のもとで真のテンソル要因の回復を保証できるか？
• RQ2 ノイズおよび過剰要因を含む合成テンソルにおいて、Orth-ALSは標準ALSおよびSVD初期化ALSを上回る低ランク近似を達成できるか？
• RQ3 3次単語三重共起テンソルに適用した場合、Orth-ALSは標準ALSよりも質の高い単語埋め込みを生成できるか？
• RQ4 大規模かつスパースなテンソル設定において、Orth-ALSの収束速度および耐性は標準ALSと比べてどうか？

主な発見

• 合成データにおいて、Orth-ALSは非一様な重みやノイズが存在する状況でも真のテンソル要因を一貫して回復するが、標準ALSは局所最適解に陥りやすく失敗する。
• 正確なテンソルおよびノイズありテンソルの合成データにおいて、Orth-ALSは標準ALSおよびSVD初期化ALSよりも顕著に低い低ランク近似誤差を達成する。
• テンソル補完タスクにおいて、Orth-ALSは過剰要因およびノイズが多い状況でも優れた回復精度を示す。
• 3次共起テンソルからの単語埋め込み学習において、Orth-ALSは標準ALSに比べて類推および類似性タスクでほぼ30%高い精度を達成する。
• アルゴリズムは計算効率とスケーラビリティを維持しており、大規模かつスパースなテンソルに対しても適している一方で、理論的収束保証を有する。
• 理論的解析により、要因推定誤差は残差相関に伴い2乗的に減少し、重み推定誤差はO(η)で有界であることが示された。ここでηは直交性からの逸脱度を測る。