[論文レビュー] Very Sparse Stable Random Projections, Estimators and Tail Bounds for Stable Random Projections

Ping Li|ArXiv.org|Nov 22, 2006

Algorithms and Data Compression参考文献 52被引用数 7

ひとこと要約

本稿では、計算コストを1/β倍に削減するために、対称α-パレート分布と原点におけるデルタ関数の混合を用いた非常にスパースな安定的ランダム射影を提案する。さらに、中央値推定器よりも厳密に不偏で、より高い精度を持つ幾何平均推定器を導入し、lα距離推定に適用可能なジョンソン＝リンデンストラウス型の補題を導出する。この補題は、k = O(log n / ε²) の射影数で十分であることを示している。

ABSTRACT

This paper will focus on three different aspects in improving the current practice of stable random projections. Firstly, we propose {\em very sparse stable random projections} to significantly reduce the processing and storage cost, by replacing the $α$-stable distribution with a mixture of a symmetric $α$-Pareto distribution (with probability $β$, $0

研究の動機と目的

• β-混合のα-パレート分布と原点におけるデルタ関数を用いた非常にスパースな射影を導入することで、安定的ランダム射影の計算コストと記憶コストを低減すること。
• 標準的な標本中央値推定器よりも精度が高く、解析が容易なlαノルムの回復のための推定器を開発すること。
• 幾何平均推定器の明示的で鋭いテールバウンドを提供し、所望の精度を達成するための射影数を決定すること。
• ジョンソン＝リンデンストラウス補題に類似した、lα空間における次元削減の実用的基準を確立すること。

提案手法

• 各要素が確率βでα-パレート分布、確率1−βでゼロとなる非常にスパースなランダム射影行列を用い、1/β倍の高速化を実現する。
• lα距離の復元のための幾何平均推定器  ˆd(α),gm = (∏|v1,j−v2,j|)1/k を提案する。
• モーメント母関数とガンマ近似を用いて、幾何平均推定器の指数的テールバウンドを導出する。
• モーメント法とガンマ近似を用いて、幾何平均推定器のテール確率をバウンドする。
• α→0+ における最尤推定器（MLE）を用い、その閉形式表現を導出し、精度を向上させる。
• 漸近的解析とガンマ関数のバウンドを用いて、幾何平均推定器のタイトな集中不等式を導出する。

実験結果

リサーチクエスチョン

• RQ1 非常にスパースな安定的ランダム射影は、lαノルムおよび距離推定の計算コストを著しく削減しつつ、精度を維持できるか？
• RQ2 幾何平均推定器は厳密に不偏であり、特に非漸近的領域において標本中央値推定器よりも精度が高いか？
• RQ3 幾何平均推定器に対して明示的で鋭いテールバウンドを導出できるか？ これにより、所望の精度を達成するための射影数を決定できるか？
• RQ4 幾何平均推定器の性能は、標本中央値推定器およびMLEと比較して、特にα→0+ の場合にどうなるか？
• RQ5 提案された幾何平均推定器を用いて、lα空間に対してジョンソン＝リンデンストラウス型の補題を確立できるか？

主な発見

• 非常にスパースな安定的ランダム射影は、処理および記憶コストを1/β倍に低減でき、α=1で第二モーメントが有界な場合、β = 1/D1/2 とすると収束速度はO(D−1/2) となる。
• 幾何平均推定器は厳密に不偏であり、特に非漸近的領域やα→0+ の場合に中央値推定器を上回る。特に分散の観点から約27%高い精度を示す。
• α→0+ の場合、最尤推定器は簡単な閉形式を有し、幾何平均推定器および中央値推定器よりも顕著に高い精度を示す。
• 本稿では幾何平均推定器に対して明示的な指数的テールバウンドを導出し、k = O(log n / ε²) の射影数で、任意のlα距離を高確率で1±εの要件内で推定可能であることを示している。
• 導出されたテールバウンドは鋭く、精度ε、信頼水準、射影数kの間のトレードオフを明示的に定量化しており、実用的導入を可能にする。