[論文レビュー] Optimal Low-Rank Tensor Recovery from Separable Measurements: Four Contractions Suffice

Parikshit Shah, Nikhil Rao+1 more|arXiv (Cornell University)|May 15, 2015

Sparse and Compressive Sensing Techniques参考文献 51被引用数 11

ひとこと要約

本稿では、分離可能な測定（たとえばランダムプロジェクションや4スライスに制限されたテンソル補完）からの正確な低ランクテンソル回復のための計算効率の良いアルゴリズムT-ReCsを提案する。測定の分離構造を活用してテンソル回復問題を行列補完の部分問題に還元し、Leurgansのテンソル分解法を適応することで、3次以上テンソルにおいてはサンプル複雑度がオーダー最適（対数要因を除いて）を達成する。

ABSTRACT

Tensors play a central role in many modern machine learning and signal processing applications. In such applications, the target tensor is usually of low rank, i.e., can be expressed as a sum of a small number of rank one tensors. This motivates us to consider the problem of low rank tensor recovery from a class of linear measurements called separable measurements. As specific examples, we focus on two distinct types of separable measurement mechanisms (a) Random projections, where each measurement corresponds to an inner product of the tensor with a suitable random tensor, and (b) the completion problem where measurements constitute revelation of a random set of entries. We present a computationally efficient algorithm, with rigorous and order-optimal sample complexity results (upto logarithmic factors) for tensor recovery. Our method is based on reduction to matrix completion sub-problems and adaptation of Leurgans' method for tensor decomposition. We extend the methodology and sample complexity results to higher order tensors, and experimentally validate our theoretical results.

研究の動機と目的

• 測定数がテンソルの環境次元に比べて著しく少ないような状況において、不完全または圧縮された線形測定からの低ランクテンソルの回復という課題に対処すること。
• ランダムプロジェクションやエントリワイズサンプリングなどの実用的な測定モデルにおいて、近似的に最適なサンプル複雑度を達成する計算効率の良いアルゴリズムを開発すること。
• Leurgansのテンソル分解法を構造的で分離可能な測定演算子に拡張し、完全なテンソルアンフォールドなしでスケーラブルな回復を可能にすること。
• サンプル複雑度と計算効率の面で、従来の行列アンフォールドに基づく手法に比べて理論的および実験的優位性を示すこと。

提案手法

• ランダムベクトルの外積によるランダムプロジェクションや、4スライスに制限されたエントリに制限されたテンソル補完を含む、分離可能な測定のクラスを導入する。
• 測定の分離構造を活用して、テンソル回復問題をより小さな行列補完の部分問題の集合に還元する。
• Leurgansのアルゴリズムをテンソル分解に適応し、逐次的な行列回復ステップを通じて低ランク成分を反復的に回復する。
• 各還元された行列補完問題に対して核ノルム最小化を適用し、計算が容易なランク最小化の凸緩和を保証する。
• 4収縮フレームワークを用いてテンソルの4つの特定のスライスからの情報を抽出・処理し、効率的で安定した回復を可能にする。
• 本手法がランダムプロジェクションおよび補完設定の両方において、オーダー最適なサンプル複雑度（対数要因を除いて）を達成することを証明する。

実験結果

リサーチクエスチョン

• RQ1 分離的かつスパースな測定のもとでも、サンプル複雑度がほぼ最適となる低ランクテンソル回復が可能か？
• RQ2 T-ReCsアルゴリズムは、行列アンフォールドに基づく手法と比べて、計算スケーラビリティと回復精度の面でどのように異なるか？
• RQ3 分離的測定フレームワークは、圧縮センシングやコラボラティブフィルタリングのような実用的問題にどの程度応用可能か？
• RQ4 4スライス制約付きのランダムプロジェクションおよびエントリワイズサンプリングの下で、本アルゴリズムの理論的サンプル複雑度保証は何か？
• RQ5 計算効率とサンプル複雑度の最適性を維持したまま、本手法を高次元テンソルに拡張可能か？

主な発見

• T-ReCsは、分離可能な測定のもとで低ランクテンソル回復においてオーダー最適なサンプル複雑度を達成し、対数要因を除いて境界がタイトである。
• 行列アンフォールドに基づく手法に比べ、特に大規模テンソルにおいて顕著に高速な計算速度を実現しており、1つの大きな問題ではなく複数の小さな行列問題を解くことで達成される。
• フェーズ遷移実験では、測定数がテンソルのランクと次元に比例する閾値を超えた場合にMSE < 1e-5で成功した回復が達成された。
• ランク3のn×n×nテンソルに対して、T-ReCsは行列アンフォールド法に比べて、回復完了に桁違いに少ない時間で処理を完了する。
• ランク2から10にわたり、ランクの変動に関わらず、ランダムプロジェクションおよび補完設定の両方で一貫した高い回復精度を維持する。
• 実験的結果は、測定を4スライスに制限しても正確な回復が可能であることを確認しており、理論的枠組みの実用的妥当性を裏付けている。