[論文レビュー] Recovery Guarantees for Quadratic Tensors with Limited Observations

Hongyang Zhang, Vatsal Sharan+2 more|arXiv (Cornell University)|Oct 31, 2018

Tensor decomposition and applications参考文献 43被引用数 1

ひとこと要約

本論文は、観測が限られた状況下における2次テンソルモデルの回復保証を確立し、次元に対して線形のサンプル複雑性で十分であることを示している。非凸な平均二乗誤差目的関数のすべての局所最適解がグローバル最適解であることを示しており、正確なテンソル回復を可能にしている。さらに、凸緩和法を用いることで、同じ線形サンプル数条件下で2次テンソルの正確な回復が達成できることを証明している。これは、観測が少ない状況下でCPモデルを上回る性能を示している。

ABSTRACT

We consider the tensor completion problem of predicting the missing entries of a tensor. The commonly used CP model has a triple product form, but an alternate family of quadratic models which are the sum of pairwise products instead of a triple product have emerged from applications such as recommendation systems. Non-convex methods are the method of choice for learning quadratic models, and this work examines their sample complexity and error guarantee. Our main result is that with the number of samples being only linear in the dimension, all local minima of the mean squared error objective are global minima and recover the original tensor accurately. The techniques lead to simple proofs showing that convex relaxation can recover quadratic tensors provided with linear number of samples. We substantiate our theoretical results with experiments on synthetic and real-world data, showing that quadratic models have better performance than CP models in scenarios where there are limited amount of observations available.

研究の動機と目的

• 推薦システムでますます利用されている2次テンソルモデルのテンソル補完問題に取り組む。
• 2次テンソルを学習する非凸最適化手法のサンプル複雑性と誤差保証を分析する。
• 線形サンプル複雑性の下で、平均二乗誤差目的関数のすべての局所最適解がグローバルに最適であることを証明する。
• 同じ線形サンプル条件下で、凸緩和法が2次テンソルを正確に回復できることを実証する。
• 観測が少ない状況下で、2次モデルがCPモデルを上回ることを実験的に検証する。

提案手法

• 2次テンソルモデルの平均二乗誤差を最小化する非凸最適化フレームワークを提案する。
• 非凸目的関数の最適化の様相を分析し、サンプルサイズが線形のとき、すべての局所最適解がグローバル最適解であることを示す。
• 低ランク行列およびテンソル回復の手法を応用し、2次モデルに対する理論的保証を導出する。
• 代替的手法として凸緩和法を用い、同じ線形サンプル条件の下で正確な回復が可能であることを証明する。
• 合成データおよび実世界のデータを用いた実験により、観測が限られた状況下でのCPモデルとの性能を比較する。
• 非凸および凸回復手法の間の理論的関係を2次テンソルに対して確立する。

実験結果

リサーチクエスチョン

• RQ1 非凸最適化手法は、サンプル複雑性が次元に対して線形にとどまる場合に2次テンソルを回復できるか？
• RQ2 観測が限られた状況下で、平均二乗誤差目的関数のすべての局所最適解が2次テンソルモデルにおいてグローバルに最適であるか？
• RQ3 凸緩和法は、サンプル数が次元に対して線形に増加する条件下で2次テンソルを正確に回復できるか？
• RQ4 観測が少ない状況下で、2次テンソルモデルはCPモデルと比較して性能が優れているか？
• RQ5 2次モデルを用いたテンソル補完に対して、どのような理論的保証を確立できるか？

主な発見

• サンプルサイズがテンソル次元に対して線形である場合、非凸平均二乗誤差目的関数のすべての局所最適解がグローバルに最適であり、正確な回復が保証される。
• サンプル数が次元に対して線形に増加する場合、凸緩和法を用いても2次テンソルを正確に回復できる。
• 非凸および凸両設定における回復保証について、簡潔な証明が可能であることが理論的に示された。
• 合成データおよび実世界データを用いた実験により、2次モデルが観測が少ない状況下でCPモデルを上回ることが確認された。
• 結果として、データが限られた状況下で2次モデルはCPモデルよりもサンプル効率が優れていることが示された。
• 最小限の仮定の下でも回復保証が成り立つため、本手法は観測が限られた状況に対しても頑健である。