[論文レビュー] Min-wise hashing for large-scale regression and classication with sparse data

Rajen D. Shah, Nicolai Meinshausen|arXiv (Cornell University)|Aug 6, 2013

Sparse and Compressive Sensing Techniques参考文献 62被引用数 5

ひとこと要約

本稿では、現代のデータ応用で一般的な大規模かつスパースな設計行列を対象として、bビットのミニムワイズハッシュ法をスケーラブルな回帰および分類のための解決策として提案する。ドット積の効率的近似と次元削減を実現しつつ統計的性質を保持することで、数百万の特徴量および観測値を持つデータセットに対しても計算的に実行可能でありながら統計的に妥当な分析を可能にする。

ABSTRACT

We study large-scale regression analysis where both the number of variables, p, and the number of observations, n, may be large and in the order of millions or more. This is very dierent from the now well-studied high-dimensional regression context of \large p, small n. For example, in our \large p, large n setting, an ordinary least squares estimator may be inappropriate for computational, rather than statistical, reasons. In order to make progress, one must seek a compromise between statistical and computational eciency. Furthermore, in contrast to the common assumption of signal sparsity for high-dimensional data, here it is the design matrices that are typically sparse in applications. Our approach for dealing with this large, sparse data is based on b-bit min-wise hashing

研究の動機と目的

• 数百万の特徴量および観測値を含む大規模回帰において、通常最小二乗法が計算的に非現実的であるという問題に対処する。
• 実際にはnとpの両方が大きいにもかかわらず、小規模なnと大きなpを仮定する伝統的な高次元回帰手法の制限を克服する。
• スパースな設計行列に対して、計算コストを大幅に削減しながらも統計的効率性を維持する手法を開発する。
• 次元性とスパarsityにかかわらず予測精度を保持する、標準最小二乗法のスケーラブルな代替手法を提供する。

提案手法

• 高次元スパース特徴ベクトルを、コンactな固定長スケッチに圧縮するためにbビットミニムワイズハッシュを適用する。
• ミニムワイズハッシュの性質を活用し、スパースベクトル間のジャカード類似度を近似的に保持することで、効率的な類似度推定を可能にする。
• スケッチ技術を活用して、スパース特徴ベクトルと応答ベクトル間のドット積を近似する。
• ハッシュ化された特徴から構築された低次元設計行列を、標準的な回帰または分類モデルに使用する。
• 元の特徴次元に依存しない、固定サイズ（bビット）のスケッチを用いることで、計算効率を確保する。
• ハッシュ処理を通じて特徴ベクトル間の相対的関係を保持することで、統計的一致性を維持する。

実験結果

リサーチクエスチョン

• RQ1 bビットミニムワイズハッシュは、スパースデータを対象とした大規模回帰において、通常最小二乗法の計算的に効率的な代替手段として機能するか？
• RQ2 ハッシュベースの近似は、元の回帰問題の統計的性質をどの程度保持するか？
• RQ3 大規模でスパースなデータセットに対してbビットミニムワイズハッシュを用いる際、計算効率と予測精度のトレードオフはいかなるものか？
• RQ4 特徴量および観測数の両方が数百万のオーダーであっても、この手法は有効に機能するか？
• RQ5 平均二乗誤差および分類精度の観点から、ハッシュベースの手法は標準回帰手法と比べてどの程度の性能を示すか？

主な発見

• 提案手法により、標準最小二乗法が計算的に非現実的となる、数百万の特徴量および観測値を含むデータセットに対しても回帰および分類が可能になる。
• bビットミニムワイズハッシュは、ドット積を高い精度で近似し、スパースデータ内の本質的な統計的関係を保持する。
• メモリ使用量と計算時間の両方を大幅に削減しながらも、フルデータ手法と同等の予測性能を維持する。
• さまざまなスパース度のレベルに強く、データサイズの増加に伴い効率的にスケーリングする。
• 実験的結果から、ハッシュベースのモデルはbが小さい値（例：b=8）であっても、低平均二乗誤差および高い分類精度を達成することが示された。
• 大規模なスパースデータセットにおいて、ベースラインの次元削減技術と比較して、速度および精度の両面で優れた性能を示した。