[論文レビュー] Progressive Domain-Independent Feature Decomposition Network for Zero-Shot Sketch-Based Image Retrieval

Xinxun Xu, Muli Yang+2 more|arXiv (Cornell University)|Mar 22, 2020

Advanced Image and Video Retrieval Techniques参考文献 18被引用数 8

ひとこと要約

本論文は、ゼロショットスケッチベース画像検索（ZS-SBIR）のためのプログレッシブでドメインに依存しない特徴分解（PDFD）ネットワークを提案する。このネットワークは、敵対的学習とモダリティ分類器を用いて、視覚的特徴をドメインに依存しない意味的特徴とドメイン固有の特徴に分解する。プログレッシブなプロジェクション戦略により強い意味的監視が保持され、クロス再構成損失により検索用特徴が明確で完全な意味的知識を捉えることを保証する。Sketchyで62.3%のmAP@all、TU-Berlinで46.0%のmAPを達成し、最先端の性能を実現した。

ABSTRACT

Zero-shot sketch-based image retrieval (ZS-SBIR) is a specific cross-modal retrieval task for searching natural images given free-hand sketches under the zero-shot scenario. Most existing methods solve this problem by simultaneously projecting visual features and semantic supervision into a low-dimensional common space for efficient retrieval. However, such low-dimensional projection destroys the completeness of semantic knowledge in original semantic space, so that it is unable to transfer useful knowledge well when learning semantic from different modalities. Moreover, the domain information and semantic information are entangled in visual features, which is not conducive for cross-modal matching since it will hinder the reduction of domain gap between sketch and image. In this paper, we propose a Progressive Domain-independent Feature Decomposition (PDFD) network for ZS-SBIR. Specifically, with the supervision of original semantic knowledge, PDFD decomposes visual features into domain features and semantic ones, and then the semantic features are projected into common space as retrieval features for ZS-SBIR. The progressive projection strategy maintains strong semantic supervision. Besides, to guarantee the retrieval features to capture clean and complete semantic information, the cross-reconstruction loss is introduced to encourage that any combinations of retrieval features and domain features can reconstruct the visual features. Extensive experiments demonstrate the superiority of our PDFD over state-of-the-art competitors.

研究の動機と目的

• 未学習のカテゴリが存在するゼロショット条件下で、スケッチと画像の間のクロスマodal検索の課題に対処すること。
• 従来の手法で低次元へのプロジェクションによって引き起こされる意味的知識の劣化を克服すること。
• スケッチと画像のモダリティ間のドメインギャップを低減し、正確なクロスマodalマッチングを促進すること。
• 特徴学習中に強い意味的監視を保持することで、未学習クラスへの転移性を向上させること。
• ドメイン固有のノイズを含まない明確で完全な意味的特徴を生成する検索フレームワークを開発すること。

提案手法

• ドメインに依存しない意味的特徴とドメイン固有の特徴に視覚的特徴を分解するため、元の意味的埋め込みで訓練された識別器を用いた敵対的学習フレームワークを採用する。
• 元の意味的空間（例：Word2Vec、GloVe、階層的類似度）からの監視のもとで意味的特徴を学習することで、意味的完全性を維持する。
• スケッチと画像の入力を区別するモダリティ分類器を用いてドメイン特徴を学習し、ドメイン固有の表現を強制する。
• プログレッシブなプロジェクション戦略を適用：まず完全な意味的監視のもとで意味的特徴を学習し、その後それらを共通の検索空間にプロジェクションする。
• 元の視覚的特徴が、検索用（意味的）特徴とドメイン特徴の和から再構成されることを強制するクロス再構成損失を導入し、意味的純粋性を保証する。
• スケッチと画像のブランチ間でエンコーダーとデコーダーのパラメータを共有することで、特徴の一貫性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 直接的な低次元プロジェクションと比較して、プログレッシブなプロジェクション戦略は、特徴学習中により強い意味的監視を保持できるか？
• RQ2 視覚的特徴をドメインに依存しない意味的成分とドメイン固有の成分に分解することで、スケッチと画像間のドメインギャップを低減できるか？
• RQ3 クロス再構成損失は、検索用特徴が明確で完全な意味的情報のみを含むように効果的に強制できるか？
• RQ4 複数の意味的埋め込みタイプ（例：Word2Vec、GloVe、Jiang-Conrath）の統合は、検索性能にどのような影響を与えるか？
• RQ5 提案されたPDFDフレームワークは、ゼロショットスケッチベース画像検索において、最先端の手法をどの程度上回るか？

主な発見

• 完全なPDFDモデルは、Sketchyデータセットで62.3%のmAP@all、TU-Berlinで46.0%のmAPを達成し、最先端の手法を顕著に上回った。
• プログレッシブなプロジェクション戦略のみを用いても、Sketchyでは約10%、TU-Berlinでは約4%のベースライン性能向上を達成し、強い意味的監視を保持することの利点を示した。
• モダリティ分類損失を用いた特徴分解を追加することで、さらなる性能向上が得られ、ドメインギャップ低減の有効性が裏付けられた。
• クロス再構成損失は性能向上に顕著な貢献を示し、検索用特徴が明確で完全な意味的知識を含むことを保証する役割を果たしていることを確認した。
• 64次元の検索特徴を用いた場合、PDFDは最良の競合手法をSketchyで13%以上、TU-Berlinで10%以上上回った。
• 512次元の実数値特徴とバイナリ量子化を用いた手法（SAKE）でさえ、Sketchyでは約11%、TU-Berlinでは約1%のmAP上回った。