[論文レビュー] Deep Residual Hashing

Sailesh Conjeti, Abhijit Guha Roy+2 more|arXiv (Cornell University)|Dec 16, 2016

Advanced Image and Video Retrieval Techniques参考文献 16被引用数 3

ひとこと要約

本稿では、残差ネットワークを用いて表現学習とバイナリーハッシュコード生成を共同最適化する、エンド・ツー・エンドの深層学習フレームワークであるDeep Residual Hashing (DRH) を提案する。近傍成分分析にインspiredされた損失関数と量子化正則化を統合することで、大規模なチストレントX線データセットにおいて最先端のリtrieval性能を達成し、従来手法より平均平均精度（MAP）で14%以上優れている。また、最小限の量子化誤差で、コンパクトで意味的に意味のあるバイナリーバイナリーコードを生成可能である。

ABSTRACT

Hashing aims at generating highly compact similarity preserving code words which are well suited for large-scale image retrieval tasks. Most existing hashing methods first encode the images as a vector of hand-crafted features followed by a separate binarization step to generate hash codes. This two-stage process may produce sub-optimal encoding. In this paper, for the first time, we propose a deep architecture for supervised hashing through residual learning, termed Deep Residual Hashing (DRH), for an end-to-end simultaneous representation learning and hash coding. The DRH model constitutes four key elements: (1) a sub-network with multiple stacked residual blocks; (2) hashing layer for binarization; (3) supervised retrieval loss function based on neighbourhood component analysis for similarity preserving embedding; and (4) hashing related losses and regularisation to control the quantization error and improve the quality of hash coding. We present results of extensive experiments on a large public chest x-ray image database with co-morbidities and discuss the outcome showing substantial improvements over the latest state-of-the art methods.

研究の動機と目的

• 手作業で特徴を抽出する2段階ハッシング手法の性能が不十分である問題に対処すること。
• トレーニング中に連続的リラクゼーションが行われるため、精度の飽和と高い量子化誤差に苦しむ深層ハッシングモデルの限界を克服すること。
• 特徴表現とハッシュコード生成のエンド・ツー・エンドの共同最適化を可能にし、リtrieval品質を向上させること。
• 専用のハッシング損失関数と正則化を用いて、量子化誤差を制御し、コードの独立性を高めること。
• 特に複雑で共存疾患を有する状況下でも、残差学習が深層ハッシングにおける医療画像リtrievalに有効であることを示すこと。

提案手法

• DRHモデルは、入力画像から判別的な画像表現を学習するため、スタックされた残差ブロックを有する深層残差ネットワークを採用する。
• 全結合ハッシング層が、最終的な特徴表現から直接的にコンパクトなバイナリーエンベッディングを生成する。
• ハミング空間における意味的類似性の維持とクラス分離性の向上を目的に、近傍成分分析（NCA）にインspiredされた損失関数が使用される。
• 連続的表現とそのバイナリーカウンターパートとの乖離を最小限に抑えるために、量子化損失が導入され、バイナリゼーション誤差が低減される。
• ハッシュコード間の独立性を促進するため、正則化項が適用され、コード品質の向上と冗長性の低減が図られる。
• リtrieval、量子化、正則化の目的を統合した複合損失関数を用いて、バックプロパゲーションによりネットワーク全体をエンド・ツー・エンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 2段階法や非残差アプローチと比較して、エンド・ツー・エンドの深層残差学習は、ハッシュコード品質とリtrieval性能を向上させ得るか？
• RQ2 提案されたNCAにインspiredされた損失関数は、ハミング空間における意味的類似性の維持とクラス分離性の向上にどの程度効果的か？
• RQ3 量子化損失は、バイナリゼーション誤差をどの程度低減し、学習されたハッシュコードの忠実性を向上させるか？
• RQ4 ネットワークの深さを増加させることで、学習されたハッシュコードのコンパクト性と性能はどのように変化するか？
• RQ5 DRHは、共存疾患や高い意味的多様性を有する複雑な医療画像処理タスクにも一般化可能か？

主な発見

• DRHは64ビットコード長で76.72%の平均平均精度（MAP）を達成し、CXRデータセットにおいて次に優れた手法（DRH - NB）を14.2%以上上回った。
• モデルは高いコンパクト性を示し、32ビットコードが他の手法の64ビットコードと同等の性能を達成した。これは、効率的な表現学習を示している。
• DRH - 34では、バイナリゼーション後のMAPが連続的表現と比較してわずか0.7%低下した。これは、量子化損失の有効性を裏付けている。
• 一方、DRH - NQではバイナリゼーション後にMAPが10.8%低下した。これは、提案された量子化正則化の必要性を強調している。
• t-SNE可視化により、DRHが生成する埋め込み表現が意味的構造を保持し、ハミング空間で明確に分離された意味的に意味のあるクラスタを形成していることが確認された。
• リtrieval結果から、上位にランクされた画像は一貫して同じ病態クラスまたは共存疾患を有しており、本手法が複雑な意味的関係を捉える能力を有していることが確認された。