[論文レビュー] Supervised Deep Hashing for Hierarchical Labeled Data

Dan Wang, Heyan Huang+5 more|arXiv (Cornell University)|Apr 7, 2017

Advanced Image and Video Retrieval Techniques被引用数 14

ひとこと要約

本稿では、階層的ラベル構造を活用して画像検索性能を向上させる新しい深層学習手法である、教師あり階層的ディープハッシュ（SHDH）を提案する。階層的類似度測定を設計し、深層畳み込みニューラルネットワーク（CNN）を用いて判別性の高いハッシュコードを生成することで、CIFAR-100およびIAPRTC-12の最先端ベースラインを上回り、64ビットコードを用いた場合、平均精度が最大18.4%向上し、NDCGが11.4%向上する。

ABSTRACT

Recently, hashing methods have been widely used in large-scale image retrieval. However, most existing hashing methods did not consider the hierarchical relation of labels, which means that they ignored the rich information stored in the hierarchy. Moreover, most of previous works treat each bit in a hash code equally, which does not meet the scenario of hierarchical labeled data. In this paper, we propose a novel deep hashing method, called supervised hierarchical deep hashing (SHDH), to perform hash code learning for hierarchical labeled data. Specifically, we define a novel similarity formula for hierarchical labeled data by weighting each layer, and design a deep convolutional neural network to obtain a hash code for each data point. Extensive experiments on several real-world public datasets show that the proposed method outperforms the state-of-the-art baselines in the image retrieval task.

研究の動機と目的

• 画像データセットにおける階層的ラベル構造を無視する既存のハッシング手法の限界を解決すること。
• 二値ハッシュコードの学習に階層的意味的関係を組み込むことで、検索性能を向上させること。
• 階層的ラベルの層間類似度を尊重しながら、判別性の高いハッシュコードを学習する深層ニューラルネットワークを設計すること。
• 非階層的ベースラインと比較して、階層的教師あり学習がハッシング性能を顕著に向上させることを示すこと。

提案手法

• 各ラベル階層の層に重みを付ける新しい階層的類似度測定を提案し、より深い層に高い重要度を割り当てる。
• 各層kにおいて、2つの画像がそのレベルで共通の祖先を持つ場合に類似すると定義する階層的類似度関数を定義する。
• 階層的類似度を深層シアン型畳み込みニューラルネットワークに統合し、特徴とハッシュコードを同時に学習する。
• ハミング空間内で類似する画像のハッシュコードが近くなるように促進するコントラスト損失関数を最適化に用いる。
• 学習可能な層重み（α）を導入し、トレーニング中に各階層レベルの寄与度を動的に調整する。
• バックプロパゲーションを用いてエンドツーエンドで訓練し、特徴抽出とハッシュコード生成を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 教師ありハッシングにおいて階層的ラベル構造をモデル化することで、非階層的手法と比較して検索精度が向上するか？
• RQ2 階層的類似度測定は、学習されたハッシュコードの判別性にどのように影響するか？
• RQ3 階層的教師あり学習を用いたエンドツーエンドの深層学習は、実世界のデータセットにおいて、従来のハッシング手法をどの程度上回るか？
• RQ4 提案手法はハイパーパrameter設定、特に層重み係数αに対してどの程度感度を示すか？
• RQ5 階層的構造の組み込みにより、画像検索タスクにおける一般化性能とロバスト性が向上するか？

主な発見

• CIFAR-100では、全コード長において最良のベースライン（DPSH）と比較し、平均精度（ACG）が12.5%〜18.4%の相対的向上を達成する。
• 64ビットコードを用いた場合、DCGはDPSHと比較し10.7%〜16.7%向上し、NDCGは8.7%〜11.4%向上する。
• IAPRTC-12では、全コード長において一貫してすべてのベースラインを上回り、データセットの変動に対してもロバストであることが示された。
• 特に高いトップn検索順位において、Weighted Recall@nの性能が優れており、優れたランク付け品質を示している。
• SHDHはハイパーパrameter αに対して敏感ではなく、広い範囲（0.5 ≤ α ≤ 2）で高い性能を維持しており、安定性が確認された。
• 64ビットコードを用いた場合、SHDHはゼロの重み付きハミング距離を示す結果を2,065件返す一方、DPSHは4,483件を返し、より優れた階層的判別性能により高い精度を達成している。