[論文レビュー] Zero-Shot Sketch-Image Hashing

Yuming Shen, Li Liu+2 more|arXiv (Cornell University)|Mar 6, 2018

Advanced Image and Video Retrieval Techniques参考文献 57被引用数 11

ひとこと要約

本論文は、ゼロショット評価プロトコル下で大規模なスケッチベース画像検索を効率的に行うための、初めてのエンドツーエンドディープラーニングモデルであるゼロショットスケッチ・イメージハッシング（ZSIH）を提案する。3ネットワークアーキテクチャを採用し、クロネッカー畳み込み、グラフ畳み込み、生成的ハッシングを用いることで、モダリティの不均一性を軽減し、学習済みクラスから未学習クラスへの意味的知識の転送を実現し、SketchyおよびTU-Berlinデータセットにおいてゼロショット評価条件下で最先端の性能を達成した。

ABSTRACT

Recent studies show that large-scale sketch-based image retrieval (SBIR) can be efficiently tackled by cross-modal binary representation learning methods, where Hamming distance matching significantly speeds up the process of similarity search. Providing training and test data subjected to a fixed set of pre-defined categories, the cutting-edge SBIR and cross-modal hashing works obtain acceptable retrieval performance. However, most of the existing methods fail when the categories of query sketches have never been seen during training. In this paper, the above problem is briefed as a novel but realistic zero-shot SBIR hashing task. We elaborate the challenges of this special task and accordingly propose a zero-shot sketch-image hashing (ZSIH) model. An end-to-end three-network architecture is built, two of which are treated as the binary encoders. The third network mitigates the sketch-image heterogeneity and enhances the semantic relations among data by utilizing the Kronecker fusion layer and graph convolution, respectively. As an important part of ZSIH, we formulate a generative hashing scheme in reconstructing semantic knowledge representations for zero-shot retrieval. To the best of our knowledge, ZSIH is the first zero-shot hashing work suitable for SBIR and cross-modal search. Comprehensive experiments are conducted on two extended datasets, i.e., Sketchy and TU-Berlin with a novel zero-shot train-test split. The proposed model remarkably outperforms related works.

研究の動機と目的

• トレーニング時に未学習のカテゴリに属するクエリスケッチが存在する際、モデルが機能しないため、スケッチベース画像検索（SBIR）におけるこの重要なギャップを埋める。
• バイナリコードによる高い検索効率を維持しながら、未学習クラスへ一般化可能なクロスモーダルハッシングフレームワークを開発する。
• スケッチと画像間のモダリティの不均一性を、注意メカニズムを用いた特徴統合と意味的知識転送によって効果的に軽減する。
• ラベルなしの未学習クラスを前提とした、微分可能でエンドツーエンドでトレーニング可能なモデルを設計し、ゼロショット一般化を可能にする。
• 効率的なハミング距離マッチングと未学習の概念への意味的一般化を組み合わせることで、実用的な大規模検索を実現する。

提案手法

• スケッチおよび画像のバイナリコード生成のための2つのエンコーダと、意味的知識統合のための第3のネットワークを備えたエンドツーエンドの3ネットワークアーキテクチャを採用する。
• スケッチと画像の特徴を効果的に統合し、モダリティの差を低減するため、アテンション機構を備えたクロネッカー畳み込み層を用いる。
• 語彙埋め込みから構築した意味的グラフを用いて、学習済みおよび未学習クラス間の意味的関係をモデル化するため、グラフ畳み込みネットワーク（GCNs）を統合する。
• 学習済みバイナリコードから意味的表現を再構築する生成的ハッシング方式を実装し、未学習クラスへのバックプロパゲーション可能な知識転送を可能にする。
• バイナリコードの品質を向上させるとともに冗長性を低減するため、ビット正則化と相関除去損失を適用する。
• 実際の展開を模倣するため、テストカテゴリをトレーニングセットから完全に除外する、新しいゼロショットトレイン・テスト分割法を用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 推論時に何らラベル付き例が存在しない状況下でも、ディープハッシングモデルはスケッチおよび画像の未学習カテゴリに一般化できるか？
• RQ2 スケッチと画像間のモダリティの不均一性を効果的に軽減するには、どのように共有バイナリ表現学習を実現できるか？
• RQ3 意味的グラフ構築は、ゼロショットハッシングにおいて、学習済みクラスから未学習クラスへの知識転送に果たす役割は何か？
• RQ4 生成的ハッシングは、バイナリコード学習における意味的知識再構築およびゼロショット一般化にどのように寄与するか？
• RQ5 クロスモーダルスケッチ・イメージハッシングにおいて、クロネッカー畳み込みは従来の特徴統合手法をどの程度上回るか？

主な発見

• ZSIHは、ゼロショット評価条件下で、SketchyおよびTU-Berlinデータセットの両方において、既存手法よりも顕著に高い平均平均精度（mAP）を達成し、Sketchyでは64ビットmAPが68.7%、TU-Berlinでは61.2%を記録した。
• アブレーションスタディの結果、クロネッカー畳み込みは特徴連結やMFBを上回り、平均してmAPを5%以上向上させた。
• グラフ畳み込み層を削除すると、mAPが約4%低下し、クラス間の意味的関係をモデル化する上でその重要性が裏付けられた。
• 確率的ニューロンをビット正則化に置き換えると、学習が不安定になり、過学習が生じるため、提案された微分可能なハッシング機構の重要性が明確になった。
• 学習済みクラス数を減らしても、モデルは高い性能を維持し、強固さと一般化能力を示した。
• ZSIHは、エンドツーエンドで微分可能であるフレームワーク内で、ゼロショット学習、クロスモーダルハッシング、スケッチベース画像検索を初めて効果的に統合した手法である。