[論文レビュー] Compact Hash Code Learning with Binary Deep Neural Network

Thanh-Toan Do, Tuan Hoang+3 more|arXiv (Cornell University)|Dec 8, 2017

Advanced Image and Video Retrieval Techniques参考文献 63被引用数 5

ひとこと要約

本稿では、類似性の保存、ビット独立性、バランスを保証する制約付き隠れ層を介して直接バイナリコードを出力する、コンact binary hash code学習のための新規な深層ニューラルネットワークフレームワークを提案する。適切な緩和を伴う交互最適化を用いることで、ベンチマークデータセット上で最先端の手法を上回り、特にコード長が変化する状況下でもmAPが向上するエンドツーエンド学習設定で顕著な性能向上を達成する。

ABSTRACT

Learning compact binary codes for image retrieval problem using deep neural networks has recently attracted increasing attention. However, training deep hashing networks is challenging due to the binary constraints on the hash codes. In this paper, we propose deep network models and learning algorithms for learning binary hash codes given image representations under both unsupervised and supervised manners. The novelty of our network design is that we constrain one hidden layer to directly output the binary codes. This design has overcome a challenging problem in some previous works: optimizing non-smooth objective functions because of binarization. In addition, we propose to incorporate independence and balance properties in the direct and strict forms into the learning schemes. We also include a similarity preserving property in our objective functions. The resulting optimizations involving these binary, independence, and balance constraints are difficult to solve. To tackle this difficulty, we propose to learn the networks with alternating optimization and careful relaxation. Furthermore, by leveraging the powerful capacity of convolutional neural networks, we propose an end-to-end architecture that jointly learns to extract visual features and produce binary hash codes. Experimental results for the benchmark datasets show that the proposed methods compare favorably or outperform the state of the art.

研究の動機と目的

• 厳密なバイナリ制約下での深層ハッシングネットワークの学習に直面する課題に対処すること。これは滑らかでない、NP困難な最適化問題を引き起こす。
• 類似性の保存、ビット独立性、ビットバランスといった望ましい性質を学習プロセスに直接組み込むことで、リtrieval性能を向上させること。
• 後処理のしきい値処理によって部分的に最適でないバイナリコードを生成する緩和ベースの手法の限界を克服すること。
• 視覚的特徴とバイナリハッシュコードを同時に学習する、理論的・実験的根拠が強いエンドツーエンドの深層学習アーキテクチャを設計すること。
• バイナリ、独立性、バランスの制約を同時に扱うための効果的な最適化戦略を考案すること。交互最適化と緩和を組み合わせて実現。

提案手法

• バイナリ制約の緩和を避けるために、単一の隠れ層が直接バイナリコードを出力する新規なネットワーク設計を導入する。
• バイナリコードに厳密かつ直接的な制約を課して、ビット独立性とバランスを強制し、冗長または歪んだ表現を防ぐ。
• ハッシュ空間における類似画像ペアと非類似画像ペアの相対的順序を維持するため、類似性保存の目的関数を組み込む。
• ネットワーク重みとバイナリコードの最適化を交互に繰り返す交互最適化スキームを採用。非滑らかさに対処するための適切な緩和を含む。
• CNNによる特徴抽出とバイナリ量子化層を統合したエンドツーエンドアーキテクチャ（E2E-BDNN）を提案し、特徴とハッシュコードを同時に学習。
• 勾配近似を用いたサイン関数に類似した活性化関数を用い、バックプロパゲーションを可能にしつつ、最適化の制約により最終的なコードのバイナリ性を維持する。

実験結果

リサーチクエスチョン

• RQ1 緩和や後処理のしきい値処理に依存せずに、深層ニューラルネットワークが直接バイナリハッシュコードを出力できるように設計できるか？
• RQ2 深層ハッシングの微分可能最適化フレームワークにおいて、ビット独立性とバランスをどのように強制できるか？
• RQ3 類似性保存、独立性、バランスを同時に強制することで、最先端の手法と比較してリtrieval性能が向上するか？
• RQ4 視覚的特徴とバイナリコードのエンドツーエンド学習は、分離された特徴学習とハッシングよりも優れた性能を達成できるか？
• RQ5 コード長が延長される際、本手法は緩和ベースの手法と比較して、mAPの安定性と向上度において優れているか？

主な発見

• 提案手法のSH-BDNNは、CIFAR-10のSetting 1においてDNNH、DQN、DPSHを上回り、全コード長で高いmAPを達成。特にL=24ではmAPが56.60、L=32では55.80を記録し、コード長が延びるにつれて一貫した改善が見られた。
• エンドツーエンドのE2E-BDNNフレームワークは、CIFAR-10のSetting 2においてDSRHおよびDRSCHを顕著に上回り、全コード長で5%～6%の性能向上を達成した。
• DNNHとは異なり、コード長を24から32に延長してもmAPが低下しない。SH-BDNNおよびE2E-BDNNは両者ともコード長が延びるにつれてmAPが一貫して向上するため、より優れたスケーラビリティを示している。
• DPSHおよびDHNと比較して優れた性能を発揮した。これは、提案された最適化戦略が符号関数の不適切な勾配問題を効果的に処理するとともに、強いバイナリ制約を維持できることを示している。
• 厳密な独立性およびバランス制約の導入により、より頑健で情報量の多いハッシュコードが得られ、これらの性質を無視するか、近似する手法と比較して一貫した性能向上が確認された。
• 実験結果は、制約付き最適化による直接的なバイナリ出力が、緩和ベースの手法よりも優れたリtrieval精度を達成できることを確認した。これにより、提案されたフレームワークの有効性が裏付けられた。