[論文レビュー] Locality-Sensitive Hashing with Margin Based Feature Selection

Makiko Konoshima, Yui Noma|arXiv (Cornell University)|Sep 26, 2012

Advanced Image and Video Retrieval Techniques参考文献 10被引用数 3

ひとこと要約

本稿では、高次元データからハイパーハイパーパラメータを学習するためのマージンに基づく特徴選択を用いた局所性に敏感なハッシュ法S-LSHを提案する。この手法は、多くのラベルとスパースなラベル分布を伴う状況での検索精度を向上させる。より大きな候補ハイパーパラメータ集合から最適なビットを選択することで、LSH、MLH、SHよりも優れた性能を発揮し、特にラベル多様性が高くラベルの基数が低い指紋、音声、画像データにおいて顕著な改善を示す。

ABSTRACT

We propose a learning method with feature selection for Locality-Sensitive Hashing. Locality-Sensitive Hashing converts feature vectors into bit arrays. These bit arrays can be used to perform similarity searches and personal authentication. The proposed method uses bit arrays longer than those used in the end for similarity and other searches and by learning selects the bits that will be used. We demonstrated this method can effectively perform optimization for cases such as fingerprint images with a large number of labels and extremely few data that share the same labels, as well as verifying that it is also effective for natural images, handwritten digits, and speech features.

研究の動機と目的

• 高次元データに多くのラベルとスパースなラベル分布が存在する状況で、局所性に敏感なハッシュ法の検索精度が低いという課題に対処すること。
• 微分可能損失関数を必要とし、大きなビット数において収束が遅くスケーラビリティに劣る、MLHなどの既存の学習ベースのLSH手法の限界を克服すること。
• 巨大な解空間における全探索最適化を回避しつつ、高い検索精度を維持できる特徴選択メカニズムを開発すること。
• 指紋画像、音声特徴、手書き数字、自然画像など、多様なデータタイプにおいて有効性を実証すること。
• より大きなハイパーパラメータプールからマージンに基づくビット選択が、1:Nバイオメトリクス識別タスクにおける一般化性と頑健性を向上させることを示すこと。

提案手法

• 本手法は、ランダム射影を用いて多数の候補ハイパーパラメータ（$ ilde{B} $ と表記）を生成し、入力特徴ベクトルから長さ $ ilde{B} $ のビット配列を生成する。
• 得られた $ ilde{B} $ ビットから、同じラベルのデータペアと異なるラベルのデータペアの間でマージンに基づく分離を最大化するように、$ B $ ビット（例：$ B = 1024 $）の小さなサブセットを特徴選択する。
• 選択プロセスでは、同じラベルペア間のハミング距離を最小化し、異なるラベルペア間のハミング距離を最大化するマージン基準を用いる。
• 最終的なビット配列は、$ ilde{B} $ ビット表現から最も判別力のある $ B $ ビットのみを選択することで構成され、真の類似度とのハミング距離相関が向上する。
• 目的関数の微分可能性を仮定しないため、大きなビット数に対しても効率的な最適化が可能である。
• 学習プロセスはトレーニングサンプル数および $ ilde{B} $ に対して線形であるため、MLHのような最適化ベースの手法と比較してスケーラブルである。

実験結果

リサーチクエスチョン

• RQ1 マージンに基づく特徴選択戦略は、多くのラベルと低ラベル基数を伴う高次元データにおけるLSHの精度を向上させることができるか？
• RQ2 提案手法S-LSHは、従来のLSHおよびMLHやSHのような学習ベースの手法と比較して、誤差率とスケーラビリティの点でどのように異なるか？
• RQ3 より大きな候補ハイパーパラメータプール（すなわち、$ ilde{B} > B $）から選択することで、直接 $ B $ ハイパーパラメータを最適化するのと比較して、より良い一般化が達成されるか？
• RQ4 指紋画像、音声、手書き数字、自然画像といったどのようなデータタイプにおいて、提案手法がベースライン手法よりも顕著な改善を示すか？
• RQ5 多くのラベルと1ラベルあたり数個のサンプルしか存在しない極めて不均衡なラベル分布下でも、本手法はどのように性能を発揮するか？

主な発見

• S-LSHは、1,024ビットでテストされたすべてのデータセット（LabelMe、MNIST、音声、指紋）において、LSH、SH、MLHを上回る最小の誤差率を達成した。
• 指紋データにおいて、S-LSHはビット数が増加するにつれてLSHやMLHの誤差率を下回り、特にビット数が多い場合に最大の改善を示した。
• MNISTデータセットではMLHがわずかにS-LSHを上回ったが、S-LSHは他のすべてのデータセット、特にラベル数が多くラベル基数が低いデータセットでトップパフォーマンスを発揮した。
• S-LSHの処理時間はLSHより顕著に長く（例：指紋データで9,131.7秒）、それでも線形的にトレーニングデータサイズおよび $ ilde{B} $ に依存するため、実用的かつスケーラブルであった。
• S-LSHは、ラベル数が多くラベル基数が低い状況（例：約1,300ラベル、1ラベルあたり7サンプルの指紋画像）においても頑健であり、従来手法（例：MLH）が性能向上を達成できなかった状況でも有効であった。
• 性能ランク（表2）によると、S-LSHはLabelMe（1位）、MNIST（2位）、音声（1位）、指紋（1位）でトップクラスであり、広範な適用可能性が裏付けられた。