[論文レビュー] An ensemble diversity approach to supervised binary hashing

Miguel Á. Carreira-Perpiñán, Ramin Raziperchikolaei|arXiv (Cornell University)|Feb 4, 2016

Advanced Image and Video Retrieval Techniques被引用数 7

ひとこと要約

本稿では、教師あり二値ハッシングにおけるアンサンブル多様性アプローチを提案する。各ハッシュ関数ビットを独立して学習するが、特徴量サブセット選択やデータシャッフルといったアンサンブル技術を用いて多様性を強制する。一見単純で並列化可能なこの手法は、複雑で結合された最適化手法を凌駕し、画像検索タスクにおいて最先端の精度と再現率を達成した。

ABSTRACT

Binary hashing is a well-known approach for fast approximate nearest-neighbor search in information retrieval. Much work has focused on affinity-based objective functions involving the hash functions or binary codes. These objective functions encode neighborhood information between data points and are often inspired by manifold learning algorithms. They ensure that the hash functions differ from each other through constraints or penalty terms that encourage codes to be orthogonal or dissimilar across bits, but this couples the binary variables and complicates the already difficult optimization. We propose a much simpler approach: we train each hash function (or bit) independently from each other, but introduce diversity among them using techniques from classifier ensembles. Surprisingly, we find that not only is this faster and trivially parallelizable, but it also improves over the more complex, coupled objective function, and achieves state-of-the-art precision and recall in experiments with image retrieval.

研究の動機と目的

• 二値変数の結合性により計算が高価で困難である教師ありハッシングにおける結合された二値ハッシュ関数の最適化という課題に対処すること。
• 各ハッシュ関数ビットを独立して学習しながら多様性を強制することで、従来の結合最適化手法よりも優れた性能が得られるかどうかを検討すること。
• ビットレベルの学習を分離することで最適化プロセスを単純化し、同時に検索精度を維持または向上させること。
• アンサンブルにインspiredされた多様性技術が、二値ハッシングにおける複雑なペナルティ項や制約項の代わりに効果的に機能することを示すこと。

提案手法

• 各ハッシュ関数ビットを、ビット間の結合を避ける単一ビットラプラス損失関数を用いて独立して学習する。
• ランダムな特徴量サブセット選択やデータシャッフルといったアンサンブル学習技術を用いて、ハッシュ関数間の多様性を強制する。
• L(zn, zm; ynm) = ynm ∥zn − zm∥² の形をとる単一ビットの目的関数を用いる。ここで zn ∈ {−1, +1} は入力 x の二値コードである。
• 学習後、各ビットに対して標準的な二値分類（例：線形SVM）を独立して適用し、各ビットが異なる意思決定境界を学習することを保証する。
• 異なるランダムな特徴量サブセットまたはデータポイントを用いて各ビットを学習することで、同一または冗長なハッシュ関数を防ぐ。
• 検索のための最終的なアンサンブル投票メカニズムを用いて、全ビットの予測を統合し、全体の精度と再現率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 結合制約なしに二値ハッシュ関数ビットを独立して学習することで、教師ありハッシングにおいて最先端の結合最適化手法と同等またはそれ以上の性能を達成できるか？
• RQ2 特徴量サブセット選択やデータシャッフルといったアンサンブル技術による多様性の注入が、全ビットが同一になるような自明な解を効果的に防げるか？
• RQ3 KSH や BRE といった複雑な制約付き最適化手法と比較して、画像検索ベンチマークにおける精度と再現率の観点で、独立して学習されたハッシュ関数の性能はどの程度か？
• RQ4 固有値分解や交互最適化に依存する非並列化可能な複雑なアプローチと比較して、より単純で並列化可能な学習手順が、より優れた性能を発揮できるか？
• RQ5 ビット数を増加させることによる、提案された独立ハッシング手法の検索性能への影響は何か？

主な発見

• アンサンブル多様性を用いた提案手法は、複雑な結合最適化手法（KSH や BRE など）を凌駕し、複数の画像検索データセットで最先端の精度と再現率を達成した。
• 特徴量およびデータサブセット選択による多様性の強制を伴う各ビットの独立学習は、結合制約を用いて全ビットを同時に学習する従来手法よりも顕著に優れた性能を発揮した。
• 本手法は自明に並列化可能であり、大規模な結合最適化問題を解く必要がある従来手法と比較して、より高速な学習が可能である。
• CIFAR-10 および NUS-WIDE データセットでは、KSHcut や他の最先端のベースラインと比較して、特にビット数が増加するにつれて高い平均平均精度（mAP）を達成した。
• 教師なしの Flickr-1M データセットにおいても、本手法（ILHt）は LSH や他のベースラインを上回り、真のラベルが存在しない状況でも頑健であることが示された。
• 正規化されたドット積行列のフロベニウスノルムを用いた測定により、ハッシュ関数間の高い直交性が維持されていることが確認され、多様性の効果的な強制が示された。