[論文レビュー] Tensor Prediction, Rademacher Complexity and Random 3-XOR.

Boaz Barak, Ankur Moitra|arXiv (Cornell University)|Jan 26, 2015

Sparse and Compressive Sensing Techniques参考文献 78被引用数 27

ひとこと要約

この論文は、和の平方（SoS）階層を用いたテンソル予測を研究し、6レベルのSoSアルゴリズムが $ m = n^{3/2} $ 觀測で成功することを示している。一方、$ m = n^{3/2 - \epsilon} $ では $ n^{2\epsilon} $ ラウンドを要し、これは中程度の指数時間であることを示唆する。本研究は、ランダム3-XORの反証とSoSノルムのラデマッハ複雑度との関連を通じて、計算的・統計的トレードオフをタイトに確立する。

ABSTRACT

Here we study the tensor prediction problem, where the goal is to accurately predict the entries of a low rank, third-order tensor (with noise) given as few observations as possible. We give algorithms based on the sixth level of the sum-of-squares hierarchy that work with roughly $m = n^{3/2}$observations, and we complement our result by showing that any attempt to solve tensor prediction with $m = n^{3/2 - \epsilon}$ observations through the sum-of-squares hierarchy needs $n^{2 \epsilon}$ rounds and consequently would run in moderately exponential time. In contrast, information theoretically roughly $m = n$ observations suffice. This work is part of a broader agenda of studying computational vs. statistical tradeoffs through the sum-of-squares hierarchy. In particular, for linear inverse problems (such as tensor prediction) the natural sum-of-squares relaxation gives rise to a sequence of norms. Our approach is to characterize their Rademacher complexity. Moreover, both our upper and lower bounds are based on connections between this, and the task of strongly refuting random $3$-XOR formulas, and the resolution proof system.

研究の動機と目的

• 和の平方階層におけるテンソル予測の計算限界を理解すること。
• 低ランクテンソル回復における和の平方ノルムのラデマッハ複雑度を特徴付けること。
• テンソル予測における観測の複雑さと計算コストの間のタイトなトレードオフを確立すること。
• テンソル予測を証明複雑性を通じてランダム3-XOR式の強力な反証問題と結びつけること。

提案手法

• 6レベルの和の平方階層を分析し、$ m = n^{3/2} $ 観測でのテンソル予測のための効率的アルゴリズムを設計する。
• ラデマッハ複雑度を用いて、線形逆問題における和の平方緩和の一般化誤差を特徴付ける。
• テンソル予測とランダム3-XOR式の強力な反証タスクとの間に双対性を確立する。
• 下界を導出するため、$ m = n^{3/2 - \epsilon} $ 観測では $ n^{2\epsilon} $ ラウンドのSoSが必要であることを示し、指数時間であることを示唆する。
• 解像度証明システムを用いて、ランダム3-XOR式の反証の難易度を計算困難性の代理として形式化する。
• テンソル予測における統計的から計算的へのギャップを、ランダム3-XORインスタンスにおける不充足性の証明の複雑さと結びつける。

実験結果

リサーチクエスチョン

• RQ1 和の平方階層がテンソル予測を効率的に解くために必要な最小観測数は何か？
• RQ2 和の平方ノルムのラデマッハ複雑度は、テンソル回復における一般化性能とどのように関係するか？
• RQ3 テンソル予測の計算困難性は、ランダム3-XOR式の反証問題に還元可能か？
• RQ4 テンソル予測における観測サイズと和の平方階層のラウンド数との間のトレードオフは何か？
• RQ5 解像度証明システムは、3-XOR反証を介してテンソル予測の下界を証明するためにどのように役立つか？

主な発見

• 6レベルの和の平方階層に基づくアルゴリズムは、$ m = n^{3/2} $ 観測で低ランクテンソルを効果的に予測することができる。
• 任意の $ m = n^{3/2 - \epsilon} $ 観測でのテンソル予測の試みは、$ n^{2\epsilon} $ ラウンドの和の平方階層を要し、中程度の指数時間に至る。
• テンソル予測の情報理論的観測複雑度は $ m = n $ であり、統計的から計算的へのギャップを強調する。
• 和の平方ノルムのラデマッハ複雑度が特徴付けられ、テンソル予測における一般化の理解にとって中心的役割を果たすことが示された。
• テンソル予測の計算困難性は、ランダム3-XOR式の強力な反証の難易度とタイトに結びついている。
• 解像度証明システムは、和の平方階層における必要なラウンド数の下界を証明するための形式的フレームワークを提供する。