[論文レビュー] Compact Hyperplane Hashing with Bilinear Functions

Wei Liu, Jun Wang+3 more|arXiv (Cornell University)|Jun 18, 2012

Advanced Image and Video Retrieval Techniques参考文献 14被引用数 58

ひとこと要約

本稿では、短いハッシュコードを用いて高い検索精度を達成するため、双一次関数を用いたコンパクトなハイパーハイパーパスハッシュ化を提案する。これにより、メモリと処理速度のオーバーヘッドが著しく削減される。双一次射影による高い衝突確率と、データからハッシュ関数を学習する手法を活用することで、最大100万件のサンプルを含む大規模なアクティブラーニングにおいて、ランダム射影ベースの手法を上回る性能を発揮する。

ABSTRACT

Hyperplane hashing aims at rapidly searching nearest points to a hyperplane, and has shown practical impact in scaling up active learning with SVMs. Unfortunately, the existing randomized methods need long hash codes to achieve reasonable search accuracy and thus suffer from reduced search speed and large memory overhead. To this end, this paper proposes a novel hyperplane hashing technique which yields compact hash codes. The key idea is the bilinear form of the proposed hash functions, which leads to higher collision probability than the existing hyperplane hash functions when using random projections. To further increase the performance, we propose a learning based framework in which the bilinear functions are directly learned from the data. This results in short yet discriminative codes, and also boosts the search performance over the random projection based solutions. Large-scale active learning experiments carried out on two datasets with up to one million samples demonstrate the overall superiority of the proposed approach.

研究の動機と目的

• 適切な精度が得られるために長大なハッシュコードを必要とする従来のランダム化ハイパーハイパーパスハッシュ化手法の高いメモリ使用量と計算コストを低減すること。
• 短いコードを用いた場合に低い衝突確率を示し、性能が劣るランダム射影の制限を克服すること。
• 独創的な双一次関数の設計により、コンパクトなハッシュコードを用いても高い検索精度を達成する手法を開発すること。
• データから直接ハッシュ関数を最適化する学習ベースのフレームワークを導入し、ランダム射影よりも高い識別性能を実現すること。
• 最大100万件のサンプルを含む大規模なアクティブラーニングのシナリオにおいて、提案手法の有効性を実証すること。

提案手法

• 標準的なランダム射影よりも高い衝突確率を実現するため、ハッシュ関数に双一次形式を提案し、短いコードでもより良い性能を発揮可能にする。
• 各ハッシュコードを入力特徴量と学習パラメータの双一次関数として計算するハッシュスキームを設計し、効率的かつ識別的なマッピングを可能にする。
• ラベル付きデータを用いてハッシュ関数を同時に学習する学習ベースの最適化フレームワークを定式化し、リtrieーブ精度を最大化する。
• 類似した点が類似したハッシュコードにマップされるように保証するため、マージンに基づく損失関数を用い、学習済みコードの識別性能を向上させる。
• SVMのトレーニングを効率的に実行するために、学習済みハッシュ関数をアクティブラーニングパイプラインに統合し、最近傍の効率的検索を実現する。
• 確率的勾配降下法を用いてモデルを最適化し、トレーニングデータ上の分類誤差とリtrieーブ誤差を最小化する。

実験結果

リサーチクエスチョン

• RQ1 双一次関数を用いて、標準的なランダム射影よりも高い衝突確率を達成するハイパーハイパーパスハッシュ化スキームを設計できるか？
• RQ2 コンパクトなハッシュコードを用いた場合に、学習ベースのハッシュ関数はランダム射影に比べてどの程度検索精度を向上させられるか？
• RQ3 最大100万件のサンプルを含む大規模なアクティブラーニングにおいて、本手法のメモリ効率と検索速度のスケーリング特性はいかなるものか？
• RQ4 既存の手法と比較して、著しくコード長を短縮しつつも、本フレームワークは高いリtrieーブ精度を維持できるか？
• RQ5 ハッシュ関数のエンドツーエンド学習が、SVMを用いたアクティブラーニング全体の性能に与える影響は何か？

主な発見

• 双一次ハッシュ化手法は、標準的なランダム射影に比べて著しく高い衝突確率を達成し、短いハッシュコードでも優れた性能を発揮する。
• 学習ベースのアプローチにより、ランダム射影ベースラインと比較して、必要なハッシュコード長を最大50％まで短縮しつつも、検索精度を維持または向上させた。
• 最大100万件のサンプルを含む2つの大規模データセットにおいて、本手法はリtrieーブ精度と速度の両面で、既存のハイパーハイパーパスハッシュ化技術を上回った。
• コンパクトなハッシュコードは、メモリ使用量の削減と高速な検索時間を実現し、大規模応用に実用的であることを示した。
• 学習済みハッシュ化をアクティブラーニングに統合することで、最も情報価値の高いサンプルを効率的に取得し、SVMのトレーニングを加速できた。
• 実験的結果から、本手法は大規模なアクティブラーニングベンチマークにおいて、精度と効率の両面で最先端の性能を達成した。