[論文レビュー] DeepHash: Getting Regularization, Depth and Fine-Tuning Right

Jie Lin, Olivier Morère+3 more|arXiv (Cornell University)|Jan 20, 2015

Advanced Image and Video Retrieval Techniques参考文献 48被引用数 27

ひとこと要約

DeepHashは、正則化、深さ、弱教師付き微調整を活用した深層学習ベースのハッシングフレームワークを提案する。FisherベクトルやDCNN特徴量といった高次元の画像記述子から、コンパクトな64〜1024ビットのバイナリーハッシュを生成する。256ビットで非圧縮浮動小数点特徴量の性能に3〜5%以内に近づけ、多様なデータセットおよびビットレートで最先端手法を最大20%上回る性能を達成する。

ABSTRACT

This work focuses on representing very high-dimensional global image descriptors using very compact 64-1024 bit binary hashes for instance retrieval. We propose DeepHash: a hashing scheme based on deep networks. Key to making DeepHash work at extremely low bitrates are three important considerations -- regularization, depth and fine-tuning -- each requiring solutions specific to the hashing problem. In-depth evaluation shows that our scheme consistently outperforms state-of-the-art methods across all data sets for both Fisher Vectors and Deep Convolutional Neural Network features, by up to 20 percent over other schemes. The retrieval performance with 256-bit hashes is close to that of the uncompressed floating point features -- a remarkable 512 times compression.

研究の動機と目的

• 高次元のグローバル画像記述子（例：8192〜65536次元のFisherベクトル、4096次元のDCNN特徴量）を、検索精度を損なわずに64〜1024ビットのコンパクトなバイナリーハッシュに圧縮する課題に対処する。
• 特に高次元記述子において低ビットレートで性能が著しく低下する既存のハッシング手法の限界を克服する。
• 構造的正則化、十分なネットワークの深さ、効果的な微調整を組み合わせることで、識別力を維持する深層学習ベースのハッシング方式を開発する。
• FVおよびDCNNの両方の記述子タイプを含む多様なデータセットで、特に64ビットや256ビットなどの低ビットレートでも強力な性能を発揮することを目的とする。
• 1つの事前学習済みDeepHashモデルが複数のデータセットおよび記述子タイプに一般化可能であり、各データセットごとの再学習を最小限に抑えることの実現を目的とする。

提案手法

• ハッシュ化に適した階層的特徴表現を得るために、段階的にスタックされた制限ボルツマンマシン（RBM）ネットワークを事前学習する。
• ハッシング問題に特化したRBM正則化を適用し、学習されたバイナリーコードのコンパクト性と識別性を向上させる。
• マッチングおよび非マッチングの画像ペアから学習する新しい損失関数を用いて、シアンプスネットワークアーキテクチャで事前学習済みネットワークを微調整する。
• 共有重みを持つ深層シアンプスネットワークを構築し、高次元記述子をバイナリーハッシュに写像する識別的な投影を学習する。
• 微調整段階で弱教師付き損失関数を用い、類似画像間のハミング距離を小さく、不一致画像間の距離を大きくするように促進する。
• 2段階の訓練プロセスを採用する：まずスタックドRBMによる教師なし事前学習、次にシアンプス対比損失を用いた弱教師付き微調整。

実験結果

リサーチクエスチョン

• RQ1 適切な正則化と深さを備えた深層ニューラルネットワークは、64〜1024ビットのコンパクトなバイナリーハッシュに高次元画像記述子をほぼ損失なしで圧縮できるか？
• RQ2 正則化、ネットワークの深さ、微調整が低ビットレートにおけるハッシング性能にどのように寄与するか？
• RQ3 シアンプス微調整戦略は、標準的な事前学習法や教師なし手法と比較して、検索精度を顕著に向上させるか？
• RQ4 DeepHashは、多様なデータセットおよび記述子タイプ（FVおよびDCNN）において、最先端のハッシング方式（例：ITQ、PQ、LSH、スペクトルハッシング）と比較してどのように差をつけるか？
• RQ5 256ビットのDeepHashハッシュは、非圧縮浮動小数点特徴量の性能にどの程度近づけるか？

主な発見

• DeepHashは、すべてのデータセットおよびビットレートで最先端のハッシング手法を最大20%上回り、リCALLおよび平均平均精度（MAP）の両面で一貫した優位性を示す。
• 256ビット表現では、非圧縮浮動小数点特徴量の性能に3〜5%以内に近づけ、512倍の圧縮比を達成する。
• DCNN特徴量において、256ビットのDeepHashは元の4096次元浮動小数点表現とほぼ同等の性能を発揮し、わずかな性能低下にとどまる。
• 64ビットでは、DCNN特徴量において256ビットと比較して5〜10%の性能低下を示すが、依然としてこのビットレートで他の手法を大きく上回る。
• 大規模データセット（100万件の不正例）でもDeepHashは強固な性能を維持し、64ビットでは1024ビットと比較して10〜20%の低下を示すが、依然としてすべてのベースラインを上回る。
• FV-DeepHashおよびDCNN-DeepHashは、他の手法と比較して一貫した改善を示し、DCNN-DeepHashは初期次元数が低く、低レベル特徴の学習が豊富であるため、多数のデータセットでFV-DeepHashを上回る性能を発揮する。