[論文レビュー] On randomness reduction in the Johnson-Lindenstrauss lemma

Paweł Wolff|arXiv (Cornell University)|Feb 24, 2012

Mathematical Approximation and Integration参考文献 18被引用数 3

ひとこと要約

本稿では、高速ジョンソン＝リンデンストラス変換を変更することで、ジョンソン＝リンデンストラスの補題におけるランダムネスを低減する確率的次元削減技術を提案する。スパース射影行列の独立な要素の代わりに、各行内で復元なし抽出を用いることで、同様の歪みの保証を得つつ、ランダムビットの数を著しく削減する。計算効率と歪み・失敗確率の理論的境界を維持する。

ABSTRACT

A refinement of so-called fast Johnson-Lindenstrauss transform, due to Ailon and Chazelle (2006), and Matoušek (2008), is proposed. While it preserves the time efficiency and simplicity of implementation of the original construction, it reduces randomness used to generate the random transformation. In the analysis of the construction two auxiliary results are established which might be of independent interest: a Bernstein-type inequality for a sum of a random sample from a family of independent random variables and a normal approximation result for such a sum.

研究の動機と目的

• 高速ジョンソン＝リンデンストラス変換に必要なランダムネスの量を減らすと同時に、時間効率と歪みの保証を維持すること。
• スパース射影行列の完全に独立な要素を、各行内での復元なし抽出に置き換えることで、既存の構成を改善すること。
• 復元なし抽出のためのベルンシュタイン型不等式と、従属した確率変数の和の正規近似という、独立した意味を持つ新たな確率的道具を確立すること。
• 同じパrameterの範囲で、先行研究を上回るか同等の歪みと失敗確率の理論的境界を提供すること。

提案手法

• スパース射影行列 $ P $ の i.i.d. 要素を、各行列の行が $ k = nq $ 個の要素を一様にランダムに復元なしで選択し、それらに $ \pm 1 $ の符号を割り当て、それ以外はゼロとする設計に置き換える。
• 任意の固定された単位ベクトルが、$ HD $（ランダム符号付きハダマール変換）によって、高確率で $ \ell_\infty $-ノルムが小さいベクトルに写像されることを活用し、$ P $ における有効なスパarsityを実現する。
• 復元なし抽出のためのベルンシュタイン型不等式を適用して、$ \|Pv\|_2 $ がその平均から逸脱する確率を抑え、新しい構成下での集中を保証する。
• 復元なし抽出から生じる確率変数の和の正規近似結果を活用して、$ \|Pv\|_1 $ と $ \|Pv\|_2 $ の挙動を制御する。
• $ HDu $ の $ \ell_\infty $-ノルムに条件付け、$ \|Pv\|_2 $ と $ \|Pv\|_1 $ の尾部確率を組み合わせることで、歪みと失敗確率の全体的な境界を導出する。
• データセット内のすべての点のペアにユニオンバウンドを適用し、最終的な写像が高確率で距離を $ (1\pm\varepsilon) $ の範囲に保つことを保証する。

実験結果

リサーチクエスチョン

• RQ1 高速ジョンソン＝リンデンストラス変換に必要なランダムネスを、時間効率や歪みの保証を損なわず低減できるか？
• RQ2 独立な確率変数の族から復元なしで抽出された確率変数の和の確率的性質は何か？
• RQ3 復元なし抽出から生じる従属確率変数の和に対して、正規近似の結果を確立できるか？
• RQ4 スパース射影行列の i.i.d. 要素を復元なし抽出に置き換えることで、同じパrameter制約下でもジョンソン＝リンデンストラス性質が保持されるか？

主な発見

• 提案された構成により、変換を生成するためのランダムビット数が $ O(nd) $ から $ O(k \log n) $ に削減され、ここで $ k = nq $ である。これはランダムネス効率の著しい向上を示す。
• この方法は、元の高速ジョンソン＝リンデンストラス変換と同等の時間計算量を維持しており、$ HD $ が $ O(n \log n) $、$ P $ が $ O(dk) $ であるため、計算効率が保たれる。
• $ d \geq C \varepsilon^{-2} \log(1/\delta) $ かつ $ k \geq C \log(2n/\delta) $ の条件下で、変換は確率 $ 1-\delta $ 以上で距離を $ (1\pm\varepsilon) $ の範囲に保つ。
• 復元なし抽出のための新しいベルンシュタイン型不等式が確立され、この抽出方式下での和の集中を示している。
• 従属確率変数の和（復元なし抽出から生じる）に対する正規近似結果が導出され、確率論において独立した意味を持つ可能性がある。
• Ailon と Chazelle、Matoušek の結果と同等の歪み境界を達成しているが、ランダムネスが削減されているため、大規模応用においてより実用的である。