[論文レビュー] Tensor Random Projection for Low Memory Dimension Reduction

Yiming Sun, Yang Guo+2 more|arXiv (Cornell University)|Apr 30, 2021

Tensor decomposition and applications参考文献 25被引用数 16

ひとこと要約

本稿では、より小さなランダム射影のカトリ＝ラオ積を用いてスパースでメモリ効率の良いランダム射影マップを構築する低メモリ次元削減手法であるテンソルランダムプロジェクション（TRP）を提案する。TRPは、$N$ 個の成分マップに対して $√[N]{d}$ のスケーリングを示し、大幅に低い記憶容量で従来手法と同等の精度を達成する。また、計算コストをほとんど増加させずに等長性の質を向上させる低分散バージョンを含む。

ABSTRACT

Random projections reduce the dimension of a set of vectors while preserving structural information, such as distances between vectors in the set. This paper proposes a novel use of row-product random matrices in random projection, where we call it Tensor Random Projection (TRP). It requires substantially less memory than existing dimension reduction maps. The TRP map is formed as the Khatri-Rao product of several smaller random projections, and is compatible with any base random projection including sparse maps, which enable dimension reduction with very low query cost and no floating point operations. We also develop a reduced variance extension. We provide a theoretical analysis of the bias and variance of the TRP, and a non-asymptotic error analysis for a TRP composed of two smaller maps. Experiments on both synthetic and MNIST data show that our method performs as well as conventional methods with substantially less storage.

研究の動機と目的

• 高次元データを扱う際、従来のランダムプロジェクションマップの高い記憶コストを軽減すること。
• 大規模応用に適した、記憶効率が高く計算コストも低い次元削減手法の開発。
• 記憶容量とクエリコストが重要な大規模データベースやテンソルデータ処理の文脈で、効率的なランダムプロジェクションを可能にすること。
• 提案されたTRPフレームワークにおける等長性誤差と分散に関する理論的保証の提供。
• TRPがガウスランダムプロジェクションと同等の性能を示しつつ、著しく低いメモリ使用量を実現することの実証。

提案手法

• TRPは、$N$ 個の小さなランダムプロジェクション行列 $\mathbf{A}_n$（各々のサイズは $d_n \times k$）のカトリ＝ラオ積として次元削減マップを構築する。
• 得られるマップ $\mathbf{A} = \mathbf{A}_1 \odot \cdots \odot \mathbf{A}_N$ は、$d = \prod_{n=1}^N d_n$ 次元のベクトルに作用する。
• スパースなベースプロジェクションをサポートしており、クエリコストを低く抑え、適用時に浮動小数点演算を一切行わない。
• 独立して範囲次元と等長性の質を制御可能な、TRPの低分散バージョンを導入。
• 理論的分析には、2つのマップから構成されるTRPの非漸近的誤差バウンドと、等長性誤差の分散分解が含まれる。
• スペクトル的および幾何的安定性を確立するために、ルドルフソン（2008）による行積のランダム行列に関する結果を活用。

実験結果

リサーチクエスチョン

• RQ1 より小さなランダムプロジェクションのカトリ＝ラオ積を用いて、低メモリかつ効果的な次元削減マップを構築できるか？
• RQ2 標準的なランダムプロジェクションと比較して、TRPの記憶使用量は成分マップの数に伴いどのようにスケーリングされるか？
• RQ3 2つの小さなマップから構成されるTRPの理論的誤差バウンドは何か？
• RQ4 低分散バージョンのTRPは、記憶容量やクエリコストを増加させずに等長性の質を向上させられるか？
• RQ5 MNISTなどの合成データおよび実世界データに対して、TRPはガウスランダムプロジェクションや標準的ランダムプロジェクションと比較して実際の性能はどうか？

主な発見

• TRPは、合成データおよびMNISTデータにおいて、ガウスランダムプロジェクションと同等の性能を示し、著しく低いメモリ使用量を実現した。
• TRPの記憶使用量は、成分マップの数 $N$ に対して $√[N]{d}$ のスケーリングを示し、高次元データにおいて顕著な節約が可能である。
• 低分散TRPバージョンは、標準TRPおよびガウスRPを常に上回り、特にテンソルの順序 $N$ が増加する際の性能向上が顕著である。
• 4次元テンソル（$100^4$）において、$k=25$ のTRPは、95%信頼区間内での相対誤差が標準的手法よりも顕著に低い結果を得た。
• 理論的分析により、TRPが調整可能な精度で近似的な等長性を満たし、$k$ が増加するに従い分散が減少することが確認された。
• 実験的結果から、TRPは低クエリコストを維持しており、スパースで高速に適用可能なベースプロジェクションと互換性があることが示された。