[論文レビュー] Learning Hash Functions Using Column Generation

Xi Li, Guosheng Lin+3 more|arXiv (Cornell University)|Mar 2, 2013

Algorithms and Data Compression参考文献 24被引用数 85

ひとこと要約

本稿では、大スケールな凸最適化フレームワーク内での三つ組ベースの近接制約を用いて、データに依存するハッシュ関数を学習する、新しい列生成ベースの手法CGHashを提案する。反復的に最適なハッシュ関数を選択し、グローバル収束を保証することで、複数のベンチマークデータセットにおいて、コン pact なバイナリコードで最先端の検索性能を達成する。

ABSTRACT

Fast nearest neighbor searching is becoming an increasingly important tool in solving many large-scale problems. Recently a number of approaches to learning data-dependent hash functions have been developed. In this work, we propose a column generation based method for learning data-dependent hash functions on the basis of proximity comparison information. Given a set of triplets that encode the pairwise proximity comparison information, our method learns hash functions that preserve the relative comparison relationships in the data as well as possible within the large-margin learning framework. The learning procedure is implemented using column generation and hence is named CGHash. At each iteration of the column generation procedure, the best hash function is selected. Unlike most other hashing methods, our method generalizes to new data points naturally; and has a training objective which is convex, thus ensuring that the global optimum can be identified. Experiments demonstrate that the proposed method learns compact binary codes and that its retrieval performance compares favorably with state-of-the-art methods when tested on a few benchmark datasets.

研究の動機と目的

• マルチメディア検索やウェブ検索などの大規模データ応用における効率的でスケーラブルな類似性検索のニーズに対応する。
• LSHなどのデータに依存しないハッシュ法の限界を克服し、意味的近接性を保持するデータに依存するハッシュ関数を学習する。
• 三つ組ベースの相対的距離制約（x が x+ よりも x− よりも近い）を用いて、ハッシュ関数学習のための凸最適化問題を定式化する。
• 候補となるハッシュ関数の数が指数的に増加するにもかかわらず、学習目的関数のグローバル最適化を可能にする。
• 線形、意思決定木、RBF などのさまざまなタイプのハッシュ関数および損失関数をサポートできる柔軟なフレームワークを開発する。

提案手法

• 三つ組制約を扱えるように、凸の代替損失関数を用いて、ハッシュ学習問題を大マージン最適化タスクとして定式化する。
• 潜在的なハッシュ関数ごとに変数が1つずつ存在する線形計画問題として学習目的関数をモデル化するが、その変数の数は指数的に増加するため、直接解くことは不可能である。
• 列生成法を適用し、各反復で最も違反が大きい制約（つまり、現在の解を最も改善するハッシュ関数）を逐次特定する。
• 各反復で、現在の解を改善する最良の新しいハッシュ関数を特定するための価格設定副問題を解く。
• 双対変数を用いて、重み付きハミング距離計算における選択済みハッシュ関数の重みを更新する。
• 全体の最適化問題が凸であるため、グローバル最適解への収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 列生成ベースのアプローチは、高次元データ内の相対的近接関係を保持するデータに依存するハッシュ関数を効果的に学習できるか？
• RQ2 提案手法は、コンパクトなバイナリコードを維持しながら、最先端のハッシュ技術を上回る検索性能を達成するか？
• RQ3 従来のハッシュ法と比較して、未観測のデータポイントへの一般化能力はどの程度か？
• RQ4 この手法の凸最適化定式化は、グローバル収束性と安定性をどの程度保証するか？
• RQ5 このフレームワークは、さまざまなタイプのハッシュ関数および損失関数を柔軟に拡張可能か？

主な発見

• CGHashは、6つのベンチマークデータセットすべてで、比較手法より精度-再現率曲線下の面積が大きく、優れた検索品質を示す。
• トップ50の検索結果において、ITQ、SPH、AGHなどの手法と比較して、真の近傍点の割合が一貫して高く、統計的に有意な改善を示す。
• K近傍法分類において、特にコード長が長い場合に、最先端のベースラインよりも低い誤差率を達成する。
• K-NN分類におけるKの増加に伴い、CGHashの性能が向上する傾向を示しており、ロバストネスと一般化能力を示している。
• MNISTおよびLABELMEデータセットにおける実験では、視覚的に正確な近傍点検索結果が得られ、実世界応用における手法の有効性を確認した。
• 調整パrameter C が性能にほとんど影響を与えないことから、手法が安定しており、ハイパーパrameterチューニングに対して敏感でないことが示された。