[論文レビュー] Transfer Adversarial Hashing for Hamming Space Retrieval

Zhangjie Cao, Mingsheng Long+2 more|arXiv (Cornell University)|Dec 13, 2017

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

本稿では、ペairワイズt分布交差エントロピー損失を用いて類似したハッシュコードをハミング半径2の範囲に集中させるとともに、敵対的ネットワークを用いてソースドメインとターゲットドメインの分布を整合化することで、ドメインシフトされたデータ間で効率的なハミング空間検索を可能にする深層学習フレームワーク、転送敵対的ハッシング（TAH）を提案する。TAHは、NUS-WIDEおよびVisDA2017ベンチマークで最先端の性能を達成し、ソースドメインとターゲットドメインが異なる転送設定下でも、検索精度を顕著に向上させた。

ABSTRACT

Hashing is widely applied to large-scale image retrieval due to the storage and retrieval efficiency. Existing work on deep hashing assumes that the database in the target domain is identically distributed with the training set in the source domain. This paper relaxes this assumption to a transfer retrieval setting, which allows the database and the training set to come from different but relevant domains. However, the transfer retrieval setting will introduce two technical difficulties: first, the hash model trained on the source domain cannot work well on the target domain due to the large distribution gap; second, the domain gap makes it difficult to concentrate the database points to be within a small Hamming ball. As a consequence, transfer retrieval performance within Hamming Radius 2 degrades significantly in existing hashing methods. This paper presents Transfer Adversarial Hashing (TAH), a new hybrid deep architecture that incorporates a pairwise $t$-distribution cross-entropy loss to learn concentrated hash codes and an adversarial network to align the data distributions between the source and target domains. TAH can generate compact transfer hash codes for efficient image retrieval on both source and target domains. Comprehensive experiments validate that TAH yields state of the art Hamming space retrieval performance on standard datasets.

研究の動機と目的

• 画像検索のための深層ハッシングにおいて、ソースドメインとターゲットドメインの間の大きな分布ギャップに対処すること。
• トレーニングデータとデータベースのデータが異なるが関連するドメインから来ている状況下で、ハミング半径2の範囲内でハミング空間検索性能を向上させること。
• 類似関係の維持とドメイン分布の整合化を同時に学習する統合的深層アーキテクチャを構築すること。
• ターゲットドメインのハミングボール内での類似点の希釈による検索品質の低下を是正すること。

提案手法

• ハッシュ空間における類似データポイントがハミング半径2の球内に集中するよう促すために、ペアワイズt分布交差エントロピー損失を導入する。
• ソースドメインとターゲットドメインの特徴分布を統合するために、敵対的ネットワークを採用し、ドメインシフトを低減する。
• 類似性の保持とドメイン整合化の両方を同時に最適化するエンドツーエンドの深層ニューラルネットワークを設計する。
• ターゲットドメインにラベル付きデータを必要とせず、無教師のターゲットドメインデータを活用してドメイン適応を強化する。
• ハイブリッドアーキテクチャを活用し、ドメイン間で意味的類似性を維持するコンパクトで転送可能なハッシュコードを生成する。
• 潜在空間におけるソースドメインとターゲットドメインの分布ギャップを最小化するために、敵対的訓練を適用する。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインで学習した深層ハッシングモデルが、異なるデータ分布を持つターゲットドメインに効果的に一般化できるか。
• RQ2 ドメインシフト下で、ハミング半径2の範囲内で高い検索精度を維持するようにハッシュコードを最適化する方法は何か。
• RQ3 標準的な交差エントロピーと比較して、t分布に基づく類似性損失は、ハミング空間内での類似点の集中をどの程度向上させるか。
• RQ4 敵対的ドメイン整合化は、MMDのような分布マッチング手法よりも、転送ハッシングで優れているか。
• RQ5 TAHの構成要素である類似性学習とドメイン整合化は、それぞれ検索性能にどの程度独立して寄与しているか。

主な発見

• TAHは、転送検索設定下でNUS-WIDEおよびVisDA2017の両データセットにおいて、最先端の平均平均精度（MAP）を達成した。
• VisDA2017データセットでは、実写→シンセティックタスクにおいて48ビットでMAPが0.784に達し、次に優れた手法を0.067上回った。
• t分布損失を標準的な交差エントロピーに置き換えた変種TAH-tは、平均MAPで0.031低下を示し、t分布損失の優位性を裏付けた。
• 敵対的学習を省いた変種TAH-Aは、シンセティック→実写タスクで平均MAPが0.078低下し、ドメイン整合化の重要性を実証した。
• 検索閾値の変化に伴い、精度は安定し、リコールが上昇したため、TAHのt分布損失がハミング半径2内に関連するポイントを効果的に集中させていることが示された。
• 可視化結果から、特にクロスドメイン設定下で、DHN や HashNet よりもより関連性が高く、ユーザーが望む画像を効果的に検索していることが確認された。