[論文レビュー] Learning to Hash with Binary Deep Neural Network

Thanh-Toan Do, Anh-Dzung Doan+1 more|arXiv (Cornell University)|Jul 18, 2016

Advanced Image and Video Retrieval Techniques被引用数 34

ひとこと要約

本稿では、二値制約を緩和せずに、制約付きの隠れ層を用いて直接二値コードを生成する、教師ありおよび教師なしハッシングのためのバイナリディープニューラルネットワーク（BDNN）を提案する。逐次最適化と注意深く制御された緩和を用いることで、NP困難な非滑らかな二値ハッシング問題を直接最適化し、CIFAR10、MNIST、NUS-WIDEで最先端の性能を達成し、mAPおよびprecision@2において、先行するディープハッシングおよびCNNベースの手法を上回る。

ABSTRACT

This work proposes deep network models and learning algorithms for unsupervised and supervised binary hashing. Our novel network design constrains one hidden layer to directly output the binary codes. This addresses a challenging issue in some previous works: optimizing non-smooth objective functions due to binarization. Moreover, we incorporate independence and balance properties in the direct and strict forms in the learning. Furthermore, we include similarity preserving property in our objective function. Our resulting optimization with these binary, independence, and balance constraints is difficult to solve. We propose to attack it with alternating optimization and careful relaxation. Experimental results on three benchmark datasets show that our proposed methods compare favorably with the state of the art.

研究の動機と目的

• 非滑らかでNP困難な二値ハッシング問題を最適化する挑戦に応えるために、ネットワーク層に直接二値コードを出力する制約を課す。
• 緩和や近似を用いずに、学習中に厳密な独立性とバランスを保証する。
• 有効な視覚的リtrievalを実現するため、類似性保持を目的関数に統合する。
• 硬い離散的制約を効果的に処理するため、逐次最適化と緩和を用いたスケーラブルな最適化フレームワークを開発する。
• ラベル情報を利用して意味的類似性を保持するため、教師なし手法を教師ありハッシングに拡張する。

提案手法

• ネットワークアーキテクチャには、{-1, 1}^L の二値コードを直接出力する専用の隠れ層を含み、後続のsgnやしきい値処理による二値化の必要性を排除する。
• 目的関数には、類似性保持、厳密な独立性（相関のないビット）、バランス（各ビットが±1をとる確率が50%）の項が含まれる。
• 二値制約の緩和を連続的緩和による符号関数の近似を用いて行い、ネットワーク重みと二値コードの間で逐次最適化を実行する、革新的な最適化戦略を採用する。
• バックプロパゲーション中に非微分可能なsgn関数を処理するため、再パrameterizationトリックを用いて近似を実施する。
• 教師ありハッシングでは、ラベルに基づくペairワイズ類似性を損失関数に組み込み、意味的関係を保持する。
• 学習プロセスは、確率的勾配降下法によるネットワーク重みの更新と、連続出力を最も近い二値コードに射影する操作を交互に繰り返す。

実験結果

リサーチクエスチョン

• RQ1 ディープネットワーク層からの直接的な二値出力は、緩和または後処理による二値化と比較して、ハッシング性能を向上させることができるか？
• RQ2 エンドツーエンド学習中に、微分可能かつ厳密な方法で二値コードの独立性とバランスを保証できるか？
• RQ3 類似性保持、独立性、バランスという3つの性質を同時に組み込むことで、より高いリtrieバル精度が達成できるか？
• RQ4 提案された最適化フレームワークは、二値的、独立的、バランス的な制約を伴うNP困難な離散的ハッシングを効果的に処理できるか？
• RQ5 mAPおよびprecision@2の観点から、提案手法は最先端のディープハッシングおよびCNNベースのハッシング手法を上回るか？

主な発見

• CIFAR10では、SH-BDNNがL=32で69.62%のmAPを達成し、同じコード長でSDH（67.63%）、KSH（65.76%）、BRE（44.89%）を上回った。
• MNISTでは、SH-BDNNがL=32で95.51%のprecision@2を達成し、同じ低コード長でSDH（94.43%）およびITQ-CCA（84.57%）を顕著に上回った。
• CNNベースの手法DSRHおよびDRSCHと比較すると、SH-BDNNはCIFAR10でL=32で66.22%のmAPを達成し、DRSCH（63.05%）およびDSRH（61.77%）を上回った。
• CIFAR10では、L=8で54.12%のmAPを達成し、同じ低ビット長でSDH（31.60%）およびBRE（23.84%）を上回った。
• 本手法は、すべてのコード長で一貫した優れた性能を維持しており、すべてのベンチマークデータセットでmAPおよびprecision@2の両面で顕著な優位性を示した。
• アブレーションスタディにより、厳密な独立性とバランスの制約が、特に低ビット長でリtrieバル精度の向上に寄与することが確認された。