[論文レビュー] Tensor Completion Made Practical

Allen Liu, Ankur Moitra|arXiv (Cornell University)|Jun 4, 2020

Tensor decomposition and applications参考文献 30被引用数 4

ひとこと要約

本稿では、高い要因相関下でも真のテンソルへの線形収束を達成する、テンソル補完のための新しい変種の交互最小化を提案する。理論的保証とほぼ線形の実行時間を持つ。標準の交互最小化とは異なり、実務では収束が遅いか発散するが、Kronecker Completion は行列補完からの進捗測定値にインspiredされた構造的更新ルールを用いることで、スパース観測からの3次テンソルの高速かつ安定な回復を可能にする。高次元設定（例：1000×1000×1000）でも、最小限のデータで動作する。

ABSTRACT

Tensor completion is a natural higher-order generalization of matrix completion where the goal is to recover a low-rank tensor from sparse observations of its entries. Existing algorithms are either heuristic without provable guarantees, based on solving large semidefinite programs which are impractical to run, or make strong assumptions such as requiring the factors to be nearly orthogonal. In this paper we introduce a new variant of alternating minimization, which in turn is inspired by understanding how the progress measures that guide convergence of alternating minimization in the matrix setting need to be adapted to the tensor setting. We show strong provable guarantees, including showing that our algorithm converges linearly to the true tensors even when the factors are highly correlated and can be implemented in nearly linear time. Moreover our algorithm is also highly practical and we show that we can complete third order tensors with a thousand dimensions from observing a tiny fraction of its entries. In contrast, and somewhat surprisingly, we show that the standard version of alternating minimization, without our new twist, can converge at a drastically slower rate in practice.

研究の動機と目的

• 理論的テンソル補完アルゴリズム（しばしば大きな半定値計画問題を伴い、実用的でない）と実務的メソッド（例：交互最小化）の間のギャップを埋める。後者は収束保証が欠如している。
• 要因が相関している場合に、標準の交互最小化が収束が遅いか、病理的行動（例：観測数が増えると収束が遅くなる）を示すという限界を克服する。
• 非直交的かつ高頻度に相関する要因を想定した現実的な条件下でも、理論的保証付きで収束する実用的アルゴリズムを開発する。
• 高次元テンソル（例：1000×1000×1000）にスケーリングできることを示し、観測エントリのわずかな部分集合でのみ動作する。
• 合成的および実世界の設定において、標準の交互最小化よりも著しく速い収束速度を示す。ノイズがある状況でも同様の結果が得られることを示す。

提案手法

• Hessian の低ランク近似を構造的に組み込むことで、テンソル空間内の曲率をよりよく捉える更新ルールを導入し、交互最小化の新しい変種（Kronecker Completion）を提案する。
• 行列補完から得た進捗測定値をテンソル設定に適応する。要因の相関を補正するための最適化サブプロブレムの再重み付けにより、安定かつ高速な収束を保証する。
• 各交互最小化ステップでサブサンプリング戦略を採用し、各イテレーションで観測エントリのランダムサブセットのみを用いる。これにより、安定性と収束速度が向上する。
• サイズ n×r の3つの要因行列（X, Y, Z）を維持し、観測エントリに制限された小さな最小二乗問題を逐次的に解くことで、各イテレーションの計算量をほぼ線形に保つ。
• 最適化サブプロブレムを、観測エントリ上の二乗誤差を最小化する形で定式化する：$\min_{z_1,\dots,z_r} \left\| (T - \sum_{i=1}^r \widehat{x}_i \otimes \widehat{y}_i \otimes z_i) \big|_S \right\|_2^2 $。更新は新たな進捗測定値に従う。
• Hessian 近似にクリロネッカー構造を統合し、特に要因が相関している場合の条件数を改善し、収束を加速する。

実験結果

リサーチクエスチョン

• RQ1 要因が高頻度に相関している場合でも、理論的保証付きの線形収束を達成するテンソル補完アルゴリズムを設計できるか？（これは現実応用で一般的な状況である。）
• RQ2 行列補完からの進捗測定値にインspiredされた修正された交互最小化スキームは、実務的および理論的両面で標準の交互最小化を上回るか？
• RQ3 スパース観測下でも、強い収束性と正確性を維持しつつ、テンソル補完の計算量をほぼ線形に保てるか？
• RQ4 ノイズがある状況下で、このアルゴリズムはどの程度の性能を示すか？また、サンプルサイズに対して近似的最適な誤差スケーリングを達成するか？
• RQ5 なぜ標準の交互最小化は、要因が相関している状況で収束に失敗したり、直感に反する振る舞い（例：観測数が増えると収束が遅くなる）を示すのか？そして、これを是正できるか？

主な発見

• Kronecker Completion は、要因が高頻度に相関している場合でも、真のテンソルへの線形収束を達成する。これは、標準の交互最小化が収束しないか、極めて遅く収束する領域である。
• 1000×1000×1000 のテンソルに対して、観測エントリが50,000～200,000個の範囲で、約30イテレーションで収束する。一方、標準の交互最小化は1,000イテレーション経過しても誤差がゼロに収束しない。
• 10％のi.i.d.ノイズがエントリに加わった状況でも、Kronecker Completion と標準の交互最小化の両方がノイズレベル未満の誤差を達成し、誤差がサンプル数の平方根に比例して減少する。これは近似的最適性能を示している。
• Kronecker Completion のサンプル複雑度は $n^{3/2}$ に比例し、理論的下界と整合的である。一方、標準の交互最小化は小さなテンソルを超えてスケーリングが困難であり、観測数の増加に伴い病理的行動を示す。
• サブサンプリングは標準の交互最小化の安定性と収束を改善するが、要因相関下での根本的な不安定性を克服するには不十分である。Kronecker Completion はこれを是正する。
• 相関のあるテンソルを用いた実験では、Kronecker Completion は収束速度と最終誤差の両面で、標準の交互最小化を一貫して上回る。たとえ後者を10倍のイテレーションで実行しても同様の結果である。