[論文レビュー] Auto-JacoBin: Auto-encoder Jacobian Binary Hashing

Xiping Fu, Brendan McCane+3 more|arXiv (Cornell University)|Feb 25, 2016

Advanced Image and Video Retrieval Techniques参考文献 28被引用数 3

ひとこと要約

この論文では、ノイズ除去関数のヤコビアンを活用してハミング空間における幾何的整合性を向上させることで、局所的なデータ多様体構造を保持する、新しい自己符号化器ベースのハッシング手法、Auto-JacoBinを提案する。本手法は大規模データセットにおいて最先端の性能を達成し、64ビットのみでNUS-WIDEで92%のRecall@1000を達成した。

ABSTRACT

Binary codes can be used to speed up nearest neighbor search tasks in large scale data sets as they are efficient for both storage and retrieval. In this paper, we propose a robust auto-encoder model that preserves the geometric relationships of high-dimensional data sets in Hamming space. This is done by considering a noise-removing function in a region surrounding the manifold where the training data points lie. This function is defined with the property that it projects the data points near the manifold into the manifold wisely, and we approximate this function by its first order approximation. Experimental results show that the proposed method achieves better than state-of-the-art results on three large scale high dimensional data sets.

研究の動機と目的

• 効率的な近似最近傍探索のため、高次元データにおけるバイナリハッシングの過程で幾何的関係を保持する課題に対処すること。
• データ多様体に近い点を再び多様体上に投影するノイズ除去関数をモデル化することで、耐障害性と特徴学習を向上させること。
• 従来の最先端手法を上回る再現率と計算効率を実現するデータ依存型ハッシング手法を開発すること。
• 一次の幾何的情報（ヤコビアン近似を介して）を自己符号化器の学習目的関数に統合し、ハミング空間内での分布をより良くすること。

提案手法

• 局所的な幾何的整合性に重点を置き、データ多様体に近い点を再び多様体上に投影する新しいノイズ除去関数を導入する。
• 最適なノイズ除去関数をその一次テイラー展開（ヤコビアン行列）で近似し、解析的に導出されたものを損失関数に統合する。
• 元のデータの幾何的構造を保持しつつ、コンactなバイナリコードを学習するため、3層の自己符号化器アーキテクチャを用いる。
• 学習された特徴と理想のバイナリコード間の量子化誤差に対して1-norm近似を適用し、ハミング空間内での最適な分布を促進する。
• 隠れ層に制約を課してバイナリコードの学習を促進し、自己符号化器の再構成とバイナリコード最適化を統合する。
• ヤコビアン行列を活用してデータ多様体の接空間を近似し、局所構造の保存を強化する。

実験結果

リサーチクエスチョン

• RQ1 幾何的に動機づけられたノイズ除去関数の一次近似は、バイナリハッシングの性能を向上させることができるか？
• RQ2 ヤコビアンに基づく幾何的制約を組み込むことで、ハミング空間内での局所的データ関係の保存がどのように向上するか？
• RQ3 データ依存型自己符号化器モデルは、大規模かつ高次元のデータセットにおいて、従来の最先端手法を上回ることができるか？
• RQ4 本手法は、データ独立型および他のデータ依存型ハッシング手法と比較して、低ビット予算でもどれほど高い再現率を維持できるか？

主な発見

• NUS-WIDEデータセットでは、Auto-JacoBinは64ビットのみで92%のRecall@1000を達成し、以前の最良手法（NOKMeansで81%）を顕著に上回った。
• GIST1Mデータセットでは、K=2,000で90%のRecall@1000を達成したが、他の手法ではK>6,000を必要としており、計算効率に優れたことが示された。
• ビット数が増加するにつれて一貫した性能向上が見られ、すべてのデータセットおよびビット設定でm-Recallが向上した。
• 低ビット予算ではデータ独立型LSHでさえも、Auto-JacoBinは優れた性能を示した。
• SIFT1Mでも強力な性能を維持し、NOKMeans、OKMeans、ITQといった最先端手法と同等の結果を達成した。
• ヤコビアンに基づく制約の導入により、Kやビット設定が変化しても再現率と耐障害性が向上し、局所構造の保存がより良好であることが実証された。