[論文レビュー] Tensor sparsification via a bound on the spectral norm of random tensors

Nam H. Nguyen, Petros Drineas+1 more|arXiv (Cornell University)|May 26, 2010

Tensor decomposition and applications参考文献 29被引用数 12

ひとこと要約

本稿では、要素の大きさの二乗に比例する確率でランダムに保持することで、スカラーのスペクトルノルムを保存する、新しいテンソルスパース化アルゴリズムを提示する。小さなエントリはゼロ化される。主な貢献は、テンソルスパース化における最初の証明可能なスペクトルノルムバウンドを可能にする、ランダムテンソルのための新しい集中不等式の確立である。この不等式により、テンソルのフロベニウスノルムと次元に依存する誤差保証が得られる。

ABSTRACT

Given an order-$d$ tensor $ ensor A \in \R^{n imes n imes... imes n}$, we present a simple, element-wise sparsification algorithm that zeroes out all sufficiently small elements of $ ensor A$, keeps all sufficiently large elements of $ ensor A$, and retains some of the remaining elements with probabilities proportional to the square of their magnitudes. We analyze the approximation accuracy of the proposed algorithm using a powerful inequality that we derive. This inequality bounds the spectral norm of a random tensor and is of independent interest. As a result, we obtain novel bounds for the tensor sparsification problem.

研究の動機と目的

• ランダムテンソルのための測度集中不等式の欠如が、テンソルスパース化の理論的解析を妨げているという問題に対処すること。
• 高次元テンソルに対して、非ゼロエントリを最小限に抑えつつスペクトルノルムの正確さを保つ、実用的な要素単位のスパース化アルゴリズムを開発すること。
• エントロピーと集中のトレードオフを用いた新しいスペクトルノルムバウンドを導出することにより、厳密な誤差解析を可能にすること。
• スペクトルノルムにおけるテンソルスパース化の最初の証明可能な近似保証を確立し、テンソルのサイズとスパarsityに明示的な依存関係を示すこと。
• 既存の行列スパース化技術を、理論的厳密性を保ちつつ高次元テンソルに拡張し、より良い精度バウンドを得ること。

提案手法

• 小さなエントリをゼロ化し、大きなエントリはそのままで、中程度の大きさのエントリをその大きさの二乗に比例する確率で確率的に保持する要素単位のスパース化戦略を提案する。
• エントロピーとモーメント生成関数に基づく、スペクトルノルム制御を可能にするランダムテンソルのための新しい集中不等式を導入する。
• スペクトルノルムを階層的レベルに分けてバインドするために、テンソルを二進レベルに分解する。
• スペクトルノルムの高次モーメントに対してマルコフの不等式を適用し、確率的誤差バウンドを導出する。
• フロベニウスノルムと次元依存係数を用いて、元のテンソルとスパース化されたテンソルのスペクトルノルムの期待値差のバウンドを導出する。
• スケールごとのスペクトルノルムのずれの増大を制御するため、二進レベルにわたるチェーンイング型の議論を適用する。

実験結果

リサーチクエスチョン

• RQ1 要素単位のランダムサンプリングのみを用いて、テンソルスパース化における証明可能なスペクトルノルムバウンドを確立できるか？
• RQ2 スペクトルノルム誤差を最小限に抑えつつスパarsityを減らすために、最適なエントリのサンプリング戦略は何か？
• RQ3 行列固有のツール（例：行列ベルンシュタイン不等式）に依存せずに、ランダムテンソルのための集中不等式を導出できるか？
• RQ4 スペクトルノルムの誤差は、テンソルの順序、サイズ、およびスパarsityレベルにどのように依存するか？
• RQ5 提案手法は、理論的保証のもとで、実際の応用において一様または大きさに基づくサンプリングよりも高い精度を達成できるか？

主な発見

• 提案されたスパース化アルゴリズムは、高確率 $ 1 - n^{-2d} $ で、次の形のスペクトルノルム誤差バウンドを達成する： $ \left\|\mathcal{A}-\widetilde{\mathcal{A}}\right\|_{2} \leq c'_{10}20^{d}\sqrt{\max\left\{1,\frac{\ln^{d+1}n}{n^{d/2-1}}\right\}}\sqrt{\frac{d^{3}n^{d/2}\ln^{d}n}{s}}\left\|\mathcal{A}\right\|_{F} $。
• 順序 $ d $ のテンソルにおいて、誤差バウンドは $ \sqrt{\frac{d^{3}n^{d/2}\ln^{d}n}{s}} $ のスケーリングを示し、次元、順序、およびサンプリングサイズ $ s $ に依存することがわかる。
• スパース化サイズ $ s $ が $ d^{3}n^{d/2}\ln^{d}n $ に比例する場合、高い確率でスペクトルノルム近似が達成され、誤差が制御される。
• $ d=2 $ の場合、バウンドは $ \left\|\mathcal{A}-\widetilde{\mathcal{A}}\right\|_{2} \leq c'_{10}20^{d}d\sqrt{\frac{n\ln^{5}n}{s}}\left\|\mathcal{A}\right\|_{F} $ に簡略化され、確率が $ 1 - n^{-4} $ 以上である。
• 本稿では、エントロピーと集中のトレードオフを用いて導出された、ランダムテンソルのスペクトルノルムに関する最初に知られている集中不等式を確立した。この不等式は、独立した興味を持つ。
• 解析により、元のテンソルとスパース化されたテンソルのスペクトルノルムの差のノルムが、二進レベルにおけるモーメントに基づく議論とチェーンイング手法によってきびしく制御できることを示した。