[論文レビュー] b-Bit Minwise Hashing for Large-Scale Linear SVM

Ping Li, Joshua L. Moore+1 more|arXiv (Cornell University)|May 23, 2011

Spam and Phishing Detection参考文献 25被引用数 3

ひとこと要約

本稿では、bビットのミニワイズハッシュを線形SVMとシームレスに統合することで、精度を損なわずメモリ使用量と学習時間を著しく削減する手法を提案する。bビットミニワイズハッシュ行列の正定値性を証明することで、著者らはこのハッシュ化方式をLIBLINEARのような線形SVMフレームワークに直接利用可能にした。1600万次元のwebspamデータセットにおいて、b=1、k=500の条件下で学習時間を数秒にまで短縮し、コード変更を最小限に抑えている。

ABSTRACT

In this paper, we propose to (seamlessly) integrate b-bit minwise hashing with linear SVM to substantially improve the training (and testing) efficiency using much smaller memory, with essentially no loss of accuracy. Theoretically, we prove that the resemblance matrix, the minwise hashing matrix, and the b-bit minwise hashing matrix are all positive definite matrices (kernels). Interestingly, our proof for the positive definiteness of the b-bit minwise hashing kernel naturally suggests a simple strategy to integrate b-bit hashing with linear SVM. Our technique is particularly useful when the data can not fit in memory, which is an increasingly critical issue in large-scale machine learning. Our preliminary experimental results on a publicly available webspam dataset (350K samples and 16 million dimensions) verified the effectiveness of our algorithm. For example, the training time was reduced to merely a few seconds. In addition, our technique can be easily extended to many other linear and nonlinear machine learning applications such as logistic regression.

研究の動機と目的

• メインメモリに収まらない超高次元データセットにおける線形SVMの学習の課題に対処すること。
• 大規模な線形SVM学習におけるメモリおよび計算コストを削減しながら、分類精度を維持すること。
• TBスケールのテキストコレクションのような、メインメモリに収まらないデータセットに対しても、効率的な学習と推論を可能にすること。
• 既存の線形SVMツール（例：LIBLINEAR）に最小限のコード変更を加えて、bビットハッシュをサポートすること。

提案手法

• 類縁行列、ミニワイズハッシュ行列、bビットミニワイズハッシュ行列がすべて正定値であることを理論的に証明し、これによりカーネルとしての有効性を裏付ける。
• bビットミニワイズハッシュの正定値性を活用し、特徴空間の単純な変換により、線形SVMに直接統合する。
• 各ミニワイズハッシュ値の下位bビットのみを格納することで、1ハッシュあたり64ビットからbビットに削減し、メモリ使用量を顕著に低減する。
• 類縁性の推定にk個の独立した置換を用い、bビットハッシュにより大規模スケールでの効率的かつ正確な推定を実現する。
• LIBLINEARを変更し、bビットハッシュされた特徴を直接入力可能にすることで、完全なデータロードを回避し、I/Oオーバーヘッドを削減する。
• シャッフルベースの文書表現などの高次元バイナリデータにこの手法を適用し、スケーラブルな学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非線形性を持つにもかかわらず、bビットミニワイズハッシュを線形SVMのカーネルとして使用可能か？
• RQ2 bビットミニワイズハッシュ行列は正定値性を保持するか？ これにより、カーネルベースの学習への応用が可能になるか？
• RQ3 bビットハッシュと線形SVMの統合により、テスト精度を劣化させることなく、学習時間とメモリ使用量を削減できるか？
• RQ4 分散とストレージ効率の観点から、bビットハッシュは標準的なミニワイズハッシュやランダムプロジェクションと比較してどのように性能を発揮するか？

主な発見

• webspamデータセット（35万件のサンプル、1600万次元）において、b=1、k=500の条件下で、bビットハッシュを用いることで学習時間が数秒にまで短縮された。
• 元の高次元データ上で学習した場合とほぼ同一のテスト精度が達成された。
• 1ハッシュあたり64ビットではなくbビットのみを格納することで、メモリ使用量が最大90％削減された。
• 繰り返しのI/O操作を回避することで、TBスケールのテキストコレクションのような、メインメモリに収まらないデータセットに対しても、効率的な学習が可能になった。
• 理論的分析により、bビットミニワイズハッシュ行列が正定値であることが確認され、SVMにおけるカーネルとしての使用が正当化された。
• LIBLINEARのような既存の線形SVMツールへのコード変更が最小限で済むため、迅速な展開が可能になった。