[論文レビュー] HashNet: Deep Learning to Hash by Continuation

Zhangjie Cao, Mingsheng Long+2 more|arXiv (Cornell University)|Feb 2, 2017

Advanced Image and Video Retrieval Techniques参考文献 38被引用数 71

ひとこと要約

HashNetは、継続ベースのディープラーニングをハッシュ化フレームワークとして導入し、不均衡なペア監督の下で正確なバイナリハッシュコードを直接学習し、標準ベンチマークで最先端の検索性能を達成します。

ABSTRACT

Learning to hash has been widely applied to approximate nearest neighbor search for large-scale multimedia retrieval, due to its computation efficiency and retrieval quality. Deep learning to hash, which improves retrieval quality by end-to-end representation learning and hash encoding, has received increasing attention recently. Subject to the ill-posed gradient difficulty in the optimization with sign activations, existing deep learning to hash methods need to first learn continuous representations and then generate binary hash codes in a separated binarization step, which suffer from substantial loss of retrieval quality. This work presents HashNet, a novel deep architecture for deep learning to hash by continuation method with convergence guarantees, which learns exactly binary hash codes from imbalanced similarity data. The key idea is to attack the ill-posed gradient problem in optimizing deep networks with non-smooth binary activations by continuation method, in which we begin from learning an easier network with smoothed activation function and let it evolve during the training, until it eventually goes back to being the original, difficult to optimize, deep network with the sign activation function. Comprehensive empirical evidence shows that HashNet can generate exactly binary hash codes and yield state-of-the-art multimedia retrieval performance on standard benchmarks.

研究の動機と目的

• エンドツーエンドハッシュニングのための sign 活性化を用いたネットワークの訓練時に生じる ill-posed な勾配に対処する。
• ペアワイズ類似学習におけるデータ不均衡を軽減する。
• post-binarization loss なしで正確なバイナリハッシュコードを学習する。
• continuation-based optimization の収束保証を提供する。
• 標準ベンチマークで優れた検索性能を示す。

提案手法

• K次元表現を生成するFully-connectedハッシュ層を備えたCNNを用いる。
• ハッシュ層から正確なバイナリコードを得るために sign 活性化を適用する。
• データ不均衡の下でペアワイズ類似性を保持するために加重最大対数似然目的関数を採用する。
• スムースな tanh 活性化から開始し、非滑らかさを徐々に高めて sign 活性化へ収束させる continuation 戦略を導入する。
• 適応シグモイドを用いたペアワイズロジスティック尤度 P(sij|hi,hj) を定義して学習を導く。
• 段階ごとの損失安定性と各段階内での SGD による減少を示す収束結果を提供する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのハッシュを、別個のビナーリゼーション step なしに sign 活性化のみで直接学習できるか？
• RQ2 深層ハッシュにおける ill-posed な勾配とデータ不均衡にどう対処するか？
• RQ3 continuation-based 最適化は従来の深層ハashing手法と比較して検索品質を改善するか？
• RQ4 不均衡な類似データの下で学習したハッシュコードに対する重み付き尤度と continuation の影響は何か？

主な発見

• HashNetは ImageNet, NUS-WIDE, MS COCO で16–64 bitコードに対して最先端の検索性能を達成。
• HashNetは shallow と deep hashing のベースラインを大幅に上回る MAP 増加を示し、例えば ITQ/ITQ-CCA や DHN に対してデータセット横断で大きな絶対MAP改善を達成。
• 重み付き最大尤度と continuation アプローチは大きな利益を生み、HashNet-C および HashNet- continuation バリアントは他の手法を顕著なマージンで上回る。
• P@H=2（Hamming 半径2内の精度）は全データセットで HashNet が最も高く、コンパクトなコードでの強いランキングを示す。
• t-SNE の視覚化は HashNet の方が DHN より識別性の高いハッシュコードを示し、学習コードのカテゴリ分離が良いことを反映している。
• アブレーションでは continuation と weighting が決定的で、HashNet はいくつかのデータセットで他のバリアントを MAP 増加で二桁に達する差で上回る。