[論文レビュー] Hashing Algorithms for Large-Scale Learning

Ping Li, Anshumali Shrivastava+2 more|arXiv (Cornell University)|Jun 6, 2011

Advanced Image and Video Retrieval Techniques参考文献 36被引用数 105

ひとこと要約

本稿では、大規模なバイナリで高次元のデータセットに対するコン pact でメモリ効率の良い表現としてbビットのミニワイズハッシュを提案し、非線形な類似度カーネルを線形内積に変換することで、線形SVMおよびロジスティック回帰へのスムーズな統合を可能にする。bビットハッシュは、同じストレージコストにおいてVowpal Wabbitおよびランダムプロジェクションを上回る精度を示し、b ≥ 16の場合、bビットハッシュにVWを組み合わせることでさらにトレーニングを高速化できることが示された。

ABSTRACT

In this paper, we first demonstrate that b-bit minwise hashing, whose estimators are positive definite kernels, can be naturally integrated with learning algorithms such as SVM and logistic regression. We adopt a simple scheme to transform the nonlinear (resemblance) kernel into linear (inner product) kernel; and hence large-scale problems can be solved extremely efficiently. Our method provides a simple effective solution to large-scale learning in massive and extremely high-dimensional datasets, especially when data do not fit in memory. We then compare b-bit minwise hashing with the Vowpal Wabbit (VW) algorithm (which is related the Count-Min (CM) sketch). Interestingly, VW has the same variances as random projections. Our theoretical and empirical comparisons illustrate that usually $b$-bit minwise hashing is significantly more accurate (at the same storage) than VW (and random projections) in binary data. Furthermore, $b$-bit minwise hashing can be combined with VW to achieve further improvements in terms of training speed, especially when $b$ is large.

研究の動機と目的

• メインメモリ容量を超えるデータセットを用いた大規模機械学習モデルのトレーニングにおけるメモリボトルネックを解消すること。
• マスサイズで高次元のバイナリデータに対して、線形SVMおよびロジスティック回帰の効率的なトレーニングを可能にすること。
• bビットミニワイズハッシュを用いて理論的裏付けのある正定値カーネル表現を提供し、学習アルゴリズムで使用可能にする。
• bビットミニワイズハッシュがVowpal Wabbitおよびランダムプロジェクションと比較して、精度およびトレーニング効率の面でどのように異なるかを評価すること。
• bビットハッシュとVWを組み合わせたハイブリッド手法を検討し、精度を損なわずにトレーニング速度を最適化すること。

提案手法

• 高次元バイナリベクトルのコンパクトで低次元の表現を生成するために、bビットミニワイズハッシュを適用し、類似度推定を保持する。
• bビットミニワイズハッシュ行列が正定値であることを証明し、SVMおよびロジスティック回帰における有効なカーネルとしての使用を可能にする。
• 単純なスキームにより非線形な類似度カーネルを線形内積に変換し、効率的な線形ソルバーの適用を可能にする。
• 理論的分析により、bビットハッシュは特にm ≫ kおよびm ≪ 2^b kの場合に、ランダムプロジェクションおよびVWよりも低い分散を持つことが示された。
• ハイブリッド手法を提案：bビットミニワイズハッシュの上にVWハッシュを適用することで、精度を維持しつつトレーニング時間を短縮する。
• 1パスで並列化可能な前処理ステップを用いてハッシュ化されたベクトルを生成し、I/Oを最小限に抑え、複数の学習タスクに再利用可能にする。

実験結果

リサーチクエスチョン

• RQ1 bビットミニワイズハッシュを正定値カーネルとして用いることで、線形SVMおよびロジスティック回帰の効率的なトレーニングが可能になるか？
• RQ2 同じストレージコストにおいて、bビットミニワイズハッシュの精度はVowpal Wabbitおよびランダムプロジェクションと比べてどの程度優れているか？
• RQ3 分散とトレーニング時間の両者を最小化するためのハッシュテーブル数（m）とビット長（b）の最適なトレードオフは何か？
• RQ4 bビットミニワイズハッシュとVWを組み合わせることで、さらにトレーニング速度が向上するか、精度が低下しないか？
• RQ5 bビットハッシュの前処理コストが、大規模学習におけるI/Oおよび計算コストと比較して無視できる条件は何か？

主な発見

• bビットミニワイズハッシュは正定値カーネルを生成し、SVMおよびロジスティック回帰への応用において理論的基盤を提供する。
• 同じストレージコストにおいて、bビットミニワイズハッシュはバイナリデータに対してVowpal Wabbitおよびランダムプロジェクションを著しく上回る精度を示す。
• b = 16の場合、bビットハッシュの上にm = 2^8kのVWハッシュを適用することで、直接的なbビットハッシュと同等のテスト精度が得られるとともに、トレーニング時間を大幅に短縮できる。
• b = 8の場合、VWと組み合わせてもさらなる改善は得られず、分散がすでに低く、利点が最小限である。
• b ≥ 16の場合、bビットハッシュに続いてVWを適用するハイブリッドアプローチが最も効果的であり、トレーニング速度の向上が顕著に現れる。
• bビットミニワイズハッシュの前処理コストは通常無視できる。1回のデータスキャンで十分であり、並列処理が容易であるため。