[論文レビュー] Note: low-rank tensor train completion with side information based on Riemannian optimization

Stanislav Budzinskiy, Н. Л. Замарашкин|arXiv (Cornell University)|Jun 23, 2020

Tensor decomposition and applications参考文献 10被引用数 4

ひとこと要約

本稿では、モードファイバーの部分空間制約としてのサイド情報を取り入れた、低ランクテンソルトレイン（TT）補完のためのリーマン最適化手法RTTC-SIを提案する。元のテンソルとサイド情報部分空間内のより小さなテンソルとの間の一対一対応を活用することで、標準的なTT補完と比較して顕著に少ない観測エントリ数で回復を達成し、行列補完理論と同様にO(M log M)のフェーズ遷移閾値を示す。

ABSTRACT

We consider the low-rank tensor train completion problem when additional side information is available in the form of subspaces that contain the mode-$k$ fiber spans. We propose an algorithm based on Riemannian optimization to solve the problem. Numerical experiments show that the proposed algorithm requires far fewer known entries to recover the tensor compared to standard tensor train completion methods.

研究の動機と目的

• モード-kファイバーのスパンを制約する部分空間としての追加的サイド情報を得た状況における低ランクテンソルトレイン補完問題に対処すること。
• このサイド情報を活用するリーマン最適化に基づくアルゴリズムを開発し、必要な観測テンソルエントリ数を削減すること。
• サイド情報がテンソル補完におけるフェーズ遷移行動に与える影響、特に成功した回復に必要な観測エントリ数の閾値にどのように影響するかを分析すること。
• 特にサンプル複雑度の観点から、サイド情報を有する行列補完の既存結果をテンソルトレイン形式へと拡張すること。

提案手法

• サイド情報行列Q_kによって定義される直交射影を介して、元のテンソル補完問題をより小さなテンソル空間に写像し、実行可能集合をN_r(Q)に変換する。
• 変換X = QYを用いて、縮小空間における低ランクTTテンソルの多様体上での最小二乗目的関数を定式化する。
• より小さな空間における低ランクTTテンソルの多様体M_r上でリーマン最適化を適用し、再構成とベクトル輸送を用いたリーマン勾配降下法を用いる。
• リーマン勾配は、TT多様体の接空間へのユークリッド勾配の射影を用いて計算され、サイド情報制約に適応された形で扱われる。
• TT-SVDに基づく再構成を用い、部分空間制約を保持するとともに、実行可能集合N_r(Q)内での収束を保証する。
• RTTC-SIと名付けられたこのアルゴリズムは、RTTCの計算効率を継承しているが、サイド情報を尊重するよう強化されており、より高速かつよりロバストな収束を実現する。

実験結果

リサーチクエスチョン

• RQ1 制約されたモード-kファイバーファイルの部分空間としてのサイド情報は、低ランクテンソルトレイン補完に必要な観測エントリ数を削減できるか？
• RQ2 リーマン最適化を用いてサイド情報を統合することで、理論的最小値に近いフェーズ遷移閾値、例えばO(M log M)に近づけるか？
• RQ3 サイド情報を有効に活用しない場合、RTTC-SIの性能は標準RTTCと比べてどのように異なるか？
• RQ4 部分的なサイド情報—特定のモードの一部にのみ利用可能な場合—が回復閾値に与える影響は何か？

主な発見

• RTTC-SIは、標準的なRTTCと比較して、観測エントリ数が通常の閾値を下回る場合でさえも、顕著に少ないエントリ数でテンソルの回復に成功する。
• RTTC-SIのフェーズ遷移は|Ω| = O(M log M)で発生し、行列補完におけるサイド情報付きの理論的境界と一致する。
• 数値実験では、サイド情報を用いる場合、収束に必要な観測エントリ数が元のテンソル次元Nに依存しないことが示された。
• サイド情報が一部のモードにのみ利用可能な場合、制約のないモードの数が増えるほど回復閾値は上昇するが、依然として標準的なTT補完よりも顕著に低い。
• フェーズプロットにより、スパarsなデータにおいても、低サンプリングレートで失敗から成功への鋭い遷移が観測され、アルゴリズムのロバスト性と収束性が裏付けられた。
• 初期近似がサイド情報を満たしていても、RTTC-SIは標準RTTCを上回る性能を示し、最適化手法が制約を効果的に活用していることを証明した。