[論文レビュー] Learning Large Euclidean Margin for Sketch-based Image Retrieval.

Peng Lu, Gao Huang+3 more|arXiv (Cornell University)|Dec 11, 2018

Advanced Image and Video Retrieval Techniques参考文献 53被引用数 19

ひとこと要約

本稿では、スケッチベース画像検索（SBIR）における特徴空間の類内距離を最小化し、類間距離を最大化する新しい損失関数であるユークリッドマージンソフトマックス（EMS）を提案する。この手法により、類内距離の最小化と類間距離の最大化を同時に実現し、高 discriminative（識別性の高い）特徴学習が可能となる。さらに、スケッチ／写真の識別子を活用する条件付きSqueeze-and-Excitation（CSE）モジュールと組み合わせることで、2つの主要なSBIRベンチマークで最先端の性能を達成し、従来手法を大きく上回る。

ABSTRACT

This paper addresses the problem of Sketch-Based Image Retrieval (SBIR), for which bridge the gap between the data representations of sketch images and photo images is considered as the key. Previous works mostly focus on learning a feature space to minimize intra-class distances for both sketches and photos. In contrast, we propose a novel loss function, named Euclidean Margin Softmax (EMS), that not only minimizes intra-class distances but also maximizes inter-class distances simultaneously. It enables us to learn a feature space with high discriminability, leading to highly accurate retrieval. In addition, this loss function is applied to a conditional network architecture, which could incorporate the prior knowledge of whether a sample is a sketch or a photo. We show that the conditional information can be conveniently incorporated to the recently proposed Squeeze and Excitation (SE) module, lead to a conditional SE (CSE) module. Extensive experiments are conducted on two widely used SBIR benchmark datasets. Our approach, although being very simple, achieved new state-of-the-art on both datasets, surpassing existing methods by a large margin.

研究の動機と目的

• スケッチと写真の画像表現間のドメインギャップを解消する課題に対処すること。
• 類内距離の最小化と類間距離の最大化を統合的に最適化することで、特徴空間の識別性を向上させること。
• スケッチ／写真の条件情報を深層特徴学習に組み込み、より優れた表現学習を実現すること。
• 標準的なSBIRベンチマークで最先端の性能を達成する、シンプルだが効果的な手法を開発すること。

提案手法

• 特徴空間における類内compactness（密着性）と類間separability（分離性）を最適化する新しい損失関数、ユークリッドマージンソフトマックス（EMS）を提案する。
• 同じクラス内での距離を最小化するとともに、異なるクラス間のマージンを明示的に最大化するようにEMSを設計する。
• スケッチ／写真の識別子を事前知識として用いることで、特徴マップの再キャリブレーションを可能にする、条件付きSqueeze-and-Excitation（CSE）モジュールにSEモジュールを変更する。
• 深層ニューラルネットワーク内にCSEモジュールを適用し、入力モodal（モード）に応じて関連する特徴に注目することで、表現学習を強化する。
• EMS損失関数とCSE強化済みのネットワークアーキテクチャを統合し、エンドツーエンドの学習を実現する。
• 本手法の有効性を検証するため、2つの公開SBIRデータセットで標準的なディープラーニングのトレーニングプロトコルを採用する。

実験結果

リサーチクエスチョン

• RQ1 類内compactnessと類間separabilityを同時に最適化する統合損失関数が、スケッチベース画像検索の性能向上に寄与するか？
• RQ2 スケッチまたは写真という条件情報を組み込むことで、SBIRにおける特徴表現にどのような影響を与えるか？
• RQ3 変更されたSqueeze-and-Excitationモジュール（CSE）が、モダリティ固有の事前知識を効果的に活用して、検索精度を向上させられるか？
• RQ4 条件付きモデリングを組み込んだ提案されたEMS損失関数は、標準的なSBIRベンチマークで既存の最先端手法を上回るか？

主な発見

• 提案されたEMS損失関数は、類内距離の最小化と類間距離の最大化を統合的に最適化することで、特徴空間の識別性が著しく向上することがわかった。
• CSEモジュールによる条件付き情報の統合により、よりロバストでモダリティに適応した特徴表現が得られた。
• 本手法は、CU-BingおよびSketchy-Imagesの両データセットで、従来手法を大きく上回る新たな最先端性能を達成した。
• EMSと条件付きネットワークを組み合わせる本手法の単純さが、複雑なアーキテクチャの変更なしに強力な性能を実現している。