[論文レビュー] Almost Optimal Explicit Johnson-Lindenstrauss Transformations

Raghu Meka|arXiv (Cornell University)|Nov 29, 2010

Computational Geometry and Mesh Generation参考文献 25被引用数 9

ひとこと要約

本稿では、高確率で $ \text{poly}(n) $ サイズの歪みを達成するために、$ O(\text{poly}(\log n) \log \log n) $ 個のランダムビットのみを用いる明示的でほぼ最適なジョンソン＝リンデンストラウス（JL）変換生成器を提示する。$ k $-wise 独立とオブliviousサンプリングを組み合わせ、DFTに基づく高速変換を用いた再帰的行列合成により、この構成はほぼ最適なシード長を達成するとともに、$ O(n \log n) $ の効率的な行列-ベクトル乗算を可能にする。

ABSTRACT

The Johnson-Lindenstrauss lemma is a fundamental result in probability with several applications in the design and analysis of algorithms in high dimensional geometry. Most known constructions of linear embeddings that satisfy the Johnson-Lindenstrauss property involve randomness. We address the question of explicitly constructing such embedding families and provide a construction with an almost optimal use of randomness: we use O(log(n/delta)log(log(n/delta)/epsilon)) random bits for embedding n dimensions to O(log(1/delta)/epsilon^2) dimensions with error probability at most delta, and distortion at most epsilon. In particular, for delta = 1/poly(n) and fixed epsilon, we use O(log n loglog n) random bits. Previous constructions required at least O(log^2 n) random bits to get polynomially small error.

研究の動機と目的

• 明示的でデランドマイズされたジョンソン＝リンデンストラウス族を構築し、最小限のランダムネスでJL性質を達成すること。
• 多項式的に小さな誤差に対して、明示的JL埋め込みに必要なシード長を $ O(\log^2 n) $ から $ O(\log n \cdot \log \log n) $ に短縮すること。
• ストリーミングおよび低メモリ環境での計算効率を確保するため、高速な行列-ベクトル積と小規模メモリでのエントリ計算を可能にすること。
• 幾何的アルゴリズムやメトリック埋め込みにおける確率的JL構成の実用的代替案を提供すること。

提案手法

• 生成器 $ G: \{0,1\}^r \to \mathbb{R}^{s \times n} $ を、$ k $-wise 独立な符号行列とオブリビアスサンプラーを用いて構築する。
• 各次元 $ n_i = n^{(1/2)^i} $ を再帰的に縮小する各レベルの行列 $ A_i $ を複数段階で合成し、濃度を強化する。
• 各レベルで離散フーリエ変換（DFT）を用いて、$ O(n_i \log n_i) $ 時間で行列-ベクトル乗算を高速化する。
• $ O(\log(1/\delta)) $-wise 独立を適用して最終埋め込みを合成し、誤差境界が保たれることを保証する。
• 各 $ A_i $ が $ \mathcal{P}_S \cdot H_{n_i} D(x) $ の形をとり、$ x $ が $ k $-wise 独立で、$ D(x) $ が対角行列である再帰的分解を採用する。
• 帰納法により総誤差を評価し、$ t = O(\log \log n) $ 個の変換の積が、高確率でノルムを $ (1 \pm \varepsilon)^t $ の範囲に保つことを示す。

実験結果

リサーチクエスチョン

• RQ1 情報理論的下界にほぼ一致するシード長を持つ明示的JL変換を構築可能か？
• RQ2 多項式的に小さな誤差を持つ明示的JL行列を生成するために必要な最小ランダムビット数は何か？
• RQ3 このような構成は、効率的な行列-ベクトル乗算と小規模メモリでのエントリ計算をサポート可能か？
• RQ4 DFTに基づく高速変換を用いた再帰的行列合成は、ランダムネスを削減しながら濃度を保持できるか？

主な発見

• シード長が $ r = O(\log(n/\delta) \cdot \log(\log(n/\delta)/\varepsilon)) $ に抑えられ、明示的JL族においてほぼ最適であることが達成された。
• $ \delta = 1/\text{poly}(n) $ かつ固定された $ \varepsilon > 0 $ の場合、シード長は $ O(\log n \cdot \log \log n) $ に短縮され、従来の $ O(\log^2 n) $ の境界を改善する。
• 行列-ベクトル積 $ G(y)w $ は、各再帰的レベルでDFTに基づく高速変換を用いて $ O(n \log n) $ 時間で計算可能である。
• 各エントリ $ G(y)_{ij} $ は $ O\left(\log n\right) $ のメモリと $ O(n^{2+o(1)}) $ 時間で計算可能であり、ストリーミングおよび低メモリ環境に適している。
• 誤差確率は $ \delta $ で抑えられ、$ O(\log \log n) $ 個の再帰的レベルにわたる和集合による不等式で全体の失敗確率が制御される。
• この手法は、最高の非明示的構成と同等の性能を達成するとともに、最小限のランダムネスで明示的かつ決定的生成を可能にする。