[論文レビュー] Tensorized Random Projections

Beheshteh T. Rakhshan, Guillaume Rabusseau|arXiv (Cornell University)|Mar 11, 2020

Tensor decomposition and applications参考文献 37被引用数 4

ひとこと要約

本稿では、テンソル・トレイン（TT）およびCANDECOMP/PARAFAC（CP）分解を用いたテンソル化されたランダムプロジェクション写像を導入し、高次テンソルの次元削減を効率的に行いながら、ユークリッド距離を保存する手法を提案する。ジョンソン＝リンドンストラウス枠組みにおいて、ランク構造の効率性が優れているため、TTベースの手法は、特に高次テンソルにおいて、CPベースのプロジェクションよりも埋め込み品質および必要なプロジェクションサイズの面で顕著に優れている。

ABSTRACT

We introduce a novel random projection technique for efficiently reducing the dimension of very high-dimensional tensors. Building upon classical results on Gaussian random projections and Johnson-Lindenstrauss transforms~(JLT), we propose two tensorized random projection maps relying on the tensor train~(TT) and CP decomposition format, respectively. The two maps offer very low memory requirements and can be applied efficiently when the inputs are low rank tensors given in the CP or TT format. Our theoretical analysis shows that the dense Gaussian matrix in JLT can be replaced by a low-rank tensor implicitly represented in compressed form with random factors, while still approximately preserving the Euclidean distance of the projected inputs. In addition, our results reveal that the TT format is substantially superior to CP in terms of the size of the random projection needed to achieve the same distortion ratio. Experiments on synthetic data validate our theoretical analysis and demonstrate the superiority of the TT decomposition.

研究の動機と目的

• 高次テンソルにおける標準的なランダムプロジェクションの計算およびメモリ非効率性を解消すること。
• テンソル分解形式（TTおよびCP）を活用して、距離保存性を維持したままランダムプロジェクション行列を圧縮すること。
• 歪みおよび複雑度の観点から、TTベースとCPベースのテンソル化プロジェクションの性能を理論的および実験的に比較すること。
• 低ランクのTTまたはCP形式で与えられたテンソルに対して、効率的な次元削減を可能にすること。

提案手法

• TTおよびCP形式でそれぞれ表現されるプロジェクション行列の行を持つ2つのテンソル化ランダムプロジェクション写像、$ f_{\mathrm{TT}(R)} $ および $ f_{\mathrm{CP}(R)} $ を提案する。
• ランダムプロジェクション行列 $ \mathbf{A} \in \mathbb{R}^{k \times d^N} $ をランクパラメータ $ R $ を用いたTTまたはCP分解を用いて低ランクテンソルとして表現し、ストレージおよび計算を著しく削減する。
• TTまたはCP形式で与えられた入力テンソルにプロジェクションを適用し、計算時間 $ \mathcal{O}(kNd\max(R,\tilde{R})^3) $ で処理可能である（ここで $ \tilde{R} $ は入力テンソルのランク）。
• TTおよびCP分解におけるランダム要因を用いてプロジェクション行列を暗黙的に表現し、全密行列を明示的に格納する必要を回避する。
• 理論的分析により、両写像が特定の $ k $ の境界のもとでジョンソン＝リンドンストラウス性質を満たすことが示された。
• 実験的に、歪み比および埋め込み時間の観点から、さまざまな次数およびサイズの合成テンソルを用いて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 テンソル分解形式（TTおよびCP）を用いて、距離保存性を損なわせることなく、高次テンソルのランダムプロジェクション行列を効率的に表現できるか？
• RQ2 TTベースとCPベースのテンソル化プロジェクションにおいて、必要なプロジェクション次元 $ k $ がテンソルの次数 $ N $ およびランク $ R $ に対してどのようにスケーリングされるか？
• RQ3 高次設定において、TT形式はCP形式よりもランダムプロジェクションのテンソル化に有効であるか？
• RQ4 計算効率、メモリ使用量、埋め込み品質のトレードオフは、テンソル化ランダムプロジェクションにおいてどのように現れるか？
• RQ5 高次データに対して著しくスケーラブルである一方で、ガウスランダムプロジェクションと同等の性能を達成できるか？

主な発見

• 歪み比を同じくするため、TTベースのテンソル化ランダムプロジェクション $ f_{\mathrm{TT}(R)} $ は、$ f_{\mathrm{CP}(R)} $ よりもはるかに小さいプロジェクション次元 $ k $ を必要とする。これは、テンソル次数 $ N $ に対する指数的依存性がより有利であるためである。
• TT形式では $ k \gtrsim \varepsilon^{-2}(1+2/R)^N \log^{2N} m $ が、CP形式では $ k \gtrsim \varepsilon^{-2}3^{N-1}(1+2/R)\log^{2N} m $ とスケーリングされ、TT形式に顕著な優位性が示された。
• 実験では、$ f_{\mathrm{TT}(R)} $ は高次テンソル（例：$ N=25 $）に対してもガウスランダムプロジェクションと同等の歪み比を達成したが、$ f_{\mathrm{CP}(R)} $ は高い $ R $ および $ k $ に対しても良好な性能を発揮できなかった。
• TTベースの手法は、非常にスパースなランダムプロジェクションよりも一貫して高速であり、特に入力がTT形式の場合に次数の増加に対して効率的にスケーリングされる。
• 入力がCP形式の場合、$ f_{\mathrm{CP}(R)} $ は $ f_{\mathrm{TT}(R)} $ よりも高速であるが、歪み性能が著しく劣るため、実用的価値は低い。
• 理論的および実験的結果により、CP形式は高次設定におけるランダムプロジェクションのテンソル化に適さないことが確認された。これは $ N $ に対して指数的スケーリングが生じるためである。