[論文レビュー] A New Sampling Technique for Tensors

Srinadh Bhojanapalli, Sujay Sanghavi|arXiv (Cornell University)|Feb 17, 2015

Tensor decomposition and applications参考文献 39被引用数 27

ひとこと要約

本稿では、第三順序テンソルに対する新しいバイアス付きサンプリング技法を提案し、正確なテンソル近似、スパarsification、補完、因子分解に必要な要素数を顕著に削減する。テンソル構造に基づくデータ依存のサンプリング分布を活用することで、O(n^{1.5}/ε²)のサンプル数でスペクトル近似を達成し、一様サンプリングに比べて大幅に効率が向上する。また、データを2回走査するのみで、機械学習応用に適した高速かつ並列処理可能な計算が可能である。

ABSTRACT

In this paper we propose new techniques to sample arbitrary third-order tensors, with an objective of speeding up tensor algorithms that have recently gained popularity in machine learning. Our main contribution is a new way to select, in a biased random way, only $O(n^{1.5}/ε^2)$ of the possible $n^3$ elements while still achieving each of the three goals: \\ {\em (a) tensor sparsification}: for a tensor that has to be formed from arbitrary samples, compute very few elements to get a good spectral approximation, and for arbitrary orthogonal tensors {\em (b) tensor completion:} recover an exactly low-rank tensor from a small number of samples via alternating least squares, or {\em (c) tensor factorization:} approximating factors of a low-rank tensor corrupted by noise. \\ Our sampling can be used along with existing tensor-based algorithms to speed them up, removing the computational bottleneck in these methods.

研究の動機と目的

• テンソルアルゴリズムにおける計算ボトル neck を軽減し、計算および保存が必要なテンソル要素数を削減すること。
• 非一様性の仮定を必要とせず、任意のサンプルから形成されるテンソルの効率的スペクトル近似を可能にすること。
• データ適応型のサンプリング戦略を用いて、最小限のサンプル数で正確な低ランクテンソル回復を達成すること。
• 2パスのサンプリングおよび補完フレームワークを用いて、ノイズが存在する状況下での近似テンソル因子分解を高速化すること。
• 大規模な機械学習応用に適した、計算的に効率的かつ並列処理可能な手法を開発すること。

提案手法

• 入力ベクトルのℓ³ノルムに基づくデータ依存のバイアス付きランダムサンプリング分布を提案し、一様サンプリングに比べて効率を向上させる。
• 2パスアルゴリズムを採用：1回目のパスでサンプリング確率を計算し、2回目のパスで要素をサンプリングおよび計算し、O(nnz(X) + p*m*log(n))の計算量を達成する。
• 適切に調整されたサンプリング重みを用いた重み付き交替最小二乗法（WALS）を適用し、高速かつ安定なテンソル補完および因子分解を実現する。
• スパarsificationにおけるサンプリング複雑度の上限を導出し、O(n^{1.5}/ε²)のスケーリングを達成する。また、正確な補完については、O((∑‖U*ᵢ‖^{3/2})² n r³ κ⁴ log²(n))のスケーリングを示し、κは条件数を表す。
• テンソルの内在的構造に適応する新しいサンプリング分布「Tensor L.S.」を導入し、高い動的範囲やバイアスのある要因分布下でも性能を維持する。
• 正確なスペクトルノルム計算がNP困難であるため、実用的な誤差評価として、フェースワイドなℓ²ノルムを用いたスペクトルノルム近似を採用する。

実験結果

リサーチクエスチョン

• RQ1 非一様性の仮定を必要とせず、良好なスペクトル近似を得るために必要なテンソル要素数を、バイアス付きサンプリング戦略によって削減可能か？
• RQ2 特にテンソルに高い動的範囲やバイアスのある要素が存在する場合、一様サンプリングに比べてより少ないサンプル数で正確な低ランクテンソル回復が可能か？
• RQ3 2パスのサンプリングおよび補完フレームワークにより、ノイズが存在する状況下でも高速かつ並列的かつ正確なテンソル因子分解が可能か？
• RQ4 誤差およびサンプル複雑度の観点から、提案手法のサンプリング分布は一様、ℓ²、またはℓ³の和のサンプリングに比べて性能が優れているか？
• RQ5 直交テンソルに対して、データ適応型のサンプリング戦略を用いた正確な回復に必要な理論的サンプル複雑度はどの程度か？

主な発見

• 提案されたTensor L.S.サンプリング分布は、すべてのテストされた分布の中で最小のスペクトル近似誤差を達成し、特にバイアス付きまたは重尾型のテンソル構造下で顕著に優れた性能を示す。
• テンソルスパarsificationにおいて、本手法は高確率で、スペクトル誤差がε√n × (∑‖Xⁱ‖³)以下に抑えられるため、O(n^{1.5} log³(n)/ε²)のサンプル数で十分である。
• テンソル補完において、本手法はバイアス（パワーロー法のパラメータaで制御）が変化しても、ランク5の直交テンソルをほぼ同じ数のサンプルで回復できるが、一様サンプリングや他の分布はバイアスが増加するにつれてはるかに多くのサンプルを必要とする。
• ノイズが存在するテンソル因子分解において、本手法はノイズのFrobeniusノルムが増加しても、他の分布に比べて因子回復のRMSEが低くなる。
• 2パスフレームワークにより、補完の計算量はO(mr²)に抑えられ、m = O(n^{1.5}/ε² r³ κ⁴ log²(n))となる。また、高確率で回復誤差が12‖ℰ‖/σ*min + ε‖ℰ‖_F/σ*min以下に抑えられることを保証する。
• 数値シミュレーションにより、本手法はスパarsification、補完、因子分解の3つの設定において、一様、ℓ²、ℓ³の和のサンプリングに比べて優れた性能を発揮することが確認された。