[論文レビュー] Johnson-Lindenstrauss lemma for circulant matrices

Aicke Hinrichs, Jan Vybíral|arXiv (Cornell University)|Jan 27, 2010

Topological and Geometric Data Analysis参考文献 13被引用数 9

ひとこと要約

本稿では、部分巡回行列とランダムな±1対角行列を組み合わせたジョンソン＝リンデンストラウス補題の変種を提示する。これにより、$O(d\log d)$ の高速計算が可能となり、ランダムネスも $2d$ ビットに削減される。歪みの境界は $k = O(\varepsilon^{-2}\log^3 n)$ のターゲット次元で達成され、次元削減のための効率性と実装の簡潔さをトレードオフとしている。

ABSTRACT

We prove a variant of a Johnson-Lindenstrauss lemma for matrices with circulant structure. This approach allows to minimise the randomness used, is easy to implement and provides good running times. The price to be paid is the higher dimension of the target space $k=O(ε^{-2}\log^3n)$ instead of the classical bound $k=O(ε^{-2}\log n)$.

研究の動機と目的

• 高次元データに対する構造的行列を用いた高速でシンプルな次元削減手法の開発を目的とする。
• ジョンソン＝リンデンストラウス変換におけるランダムネスの使用量を最小化し、従来の $kd$ から $2d$ ランダムビットに削減することを目的とする。
• 巡回行列構造が、ランダムな投影において対応する距離を保存できるかどうかを検討することを目的とする。
• 計算効率と実装の簡潔さに優れた、従来の FJLT 方法の実用的代替案を提供することを目的とする。

提案手法

• 本手法は、独立同一分布に従う確率変数 $a_0, \dots, a_{d-1}$ から構成される部分巡回行列 $M_{a,k}$ を用いる。
• 入力ベクトルの前処理として、$\pm 1$ 要素を持つランダム対角行列 $D_\varkappa$ を適用する。
• 変換は $f(x) = \frac{1}{\sqrt{k}} M_{a,k} D_\varkappa x$ として定義され、巡回構造と対角ランダム化を組み合わせる。
• 距離歪みの制御には、混沌とした変数のためのデカップリング技術とモーメントバウンドを用いる。
• 主な道具として、デカップリング補題とベルヌーイおよびガウス変数のキンチンケ型不等式を用いる。
• 歪みが $\varepsilon$ を超える確率のバウンドには、濃度不等式とマーカフの不等式を用いる。

実験結果

リサーチクエスチョン

• RQ1 巡回行列を用いて、保証された歪みを有するジョンソン＝リンデンストラウス変換を構築できるか？
• RQ2 古典的境界と比較して、巡回構造を用いた場合の必要なターゲット次元 $k$ はどの程度か？
• RQ3 ランダム対角行列の使用が、巡回投影の性能にどのように影響するか？
• RQ4 巡回などの構造的行列を用いることで、ランダムネスと計算コストを削減できるか？

主な発見

• 本手法は、$k = O(\varepsilon^{-2}\log^3 n)$ のターゲット次元を用いて、高確率で $(1\pm\varepsilon)$-歪みを達成する。
• 変換は $O(d\log d)$ の時間で実行され、標準的なランダム投影よりも顕著に高速である。
• ランダムビット数は $2d$ 個にまで削減され、従来の $kd$ や $(k+1)d$ に比べてランダムネスが大幅に低減される。
• 対角前処理 $D_\varkappa$ は不可欠であり、これを省略すると距離保存に失敗する。
• 巡回行列に i.i.d. ベルヌーイおよびガウス分布の要素を用いても、結果は成り立つ。
• 証明技法は、確率変数の二次形式におけるデカップリングとモーメント推定に依存する。