[論文レビュー] Cross-Modal Hierarchical Modelling for Fine-Grained Sketch Based Image Retrieval

Aneeshan Sain, Ayan Kumar Bhunia+3 more|arXiv (Cornell University)|Jul 29, 2020

Advanced Image and Video Retrieval Techniques参考文献 58被引用数 22

ひとこと要約

本稿では、エンドツーエンドで学習可能なGumbel-Softmax近似を用いたノードマージによる暗黙的なスケッチ階層を発見することで、細分化されたスケッチベース画像検索（FG-SBIR）のためのクロスモーダル階層的モデリングフレームワークを提案する。各レベルでクロスモーダル相互注意と階層的統合を統合することで、優れた識別的で多段階の埋め込みを学習し、標準ベンチマークにおいて最先端手法を大きく上回る性能を達成した。QMUL-ChairV2では62.45%のaccuracy@1、SWIREでは67.23%を達成した。

ABSTRACT

Sketch as an image search query is an ideal alternative to text in capturing the fine-grained visual details. Prior successes on fine-grained sketch-based image retrieval (FG-SBIR) have demonstrated the importance of tackling the unique traits of sketches as opposed to photos, e.g., temporal vs. static, strokes vs. pixels, and abstract vs. pixel-perfect. In this paper, we study a further trait of sketches that has been overlooked to date, that is, they are hierarchical in terms of the levels of detail -- a person typically sketches up to various extents of detail to depict an object. This hierarchical structure is often visually distinct. In this paper, we design a novel network that is capable of cultivating sketch-specific hierarchies and exploiting them to match sketch with photo at corresponding hierarchical levels. In particular, features from a sketch and a photo are enriched using cross-modal co-attention, coupled with hierarchical node fusion at every level to form a better embedding space to conduct retrieval. Experiments on common benchmarks show our method to outperform state-of-the-arts by a significant margin.

研究の動機と目的

• 自由なスケッチにおける細分化されたスケッチの階層的性質が十分に検討されていないFG-SBIRにおいて、スケッチの詳細が粗いものから細かいものへと変化することを解決すること。
• 両モダリティにおいて階層的意味的構造を明示的にモデリングすることで、スケッチと写真のドメインギャップを低減すること。
• 各レベルでのクロスモーダル相互注意と階層的統合を通じて、クロスモーダル埋め込みの質を向上させること。
• 部分的または不完全なスケッチに対してもロバストな検索を可能にするために、スケッチの詳細レベルに適応する階層を学習すること。
• 事前に定義された構造を必要とせず、スケッチ固有の階層を発見できる、新たなエンドツーエンドで学習可能なフレームワークを確立すること。

提案手法

• ノード（特徴）を段階的にマージすることで、暗黙的かつスケッチ階層を発見する凝集的マージ方式を用いる。
• 非微分可能なノード選択プロセスを補完するために、ストレートスラッシュGumbel-Softmax操作を適用し、バックプロパゲーションを可能にする。
• 各階層レベルでスケッチと写真の特徴間の相互注意を可能にするクロスモーダル相互注意モジュールを導入する。
• ゲーティング機構を用いて、両モダリティからの相互注意特徴を適応的に統合し、一致しない部分やノイズをフィルタリングする。
• 各レベルで階層的ノード統合を実行し、精錬された特徴をレベル間で伝搬させ、最終的な埋め込みを形成する。
• 共有埋め込み空間における距離ベースのランク付けを検索に用い、スカラー類似度予測よりも優れていると検証された。

実験結果

リサーチクエスチョン

• RQ1 暗黙的かつエンドツーエンドで学習可能なスケッチ階層は、細分化されたスケッチベース画像検索の性能向上に寄与するか？
• RQ2 複数の階層的レベルにおけるクロスモーダル相互注意は、スケッチと写真の特徴の整合性をどのように向上させるか？
• RQ3 相互注意を伴う階層的統合は、スケッチの詳細レベルが変化する（例：不完全なスケッチ）状況下でも、よりロバストな検索を実現するか？
• RQ4 明示的な階層モデリングまたは非階層的ベースラインと比較して、本手法は正確性とロバスト性の面でどのように優れているか？
• RQ5 写真ブランチにおける共注意力のための最適な領域数（k）は何か？ また、kの値が正確性と推論時間にどのように影響するか？

主な発見

• 提案手法は、QMUL-ChairV2で62.45%のaccuracy@1、SWIREで67.23%を達成し、最先端手法を大きく上回った。
• クロスモーダル相互注意を削除した場合（w/o Localised-Coattn）は、QMUL-ChairV2で10.6%、QMUL-ShoeV2で4.45%の性能低下を示し、相互注意の重要性を裏付けた。
• 階層モデリングを削除した場合（w/o Hierarchy）は、QMUL-ChairV2で7.21%、QMUL-ShoeV2で3.06%の性能低下を示し、階層の重要性を検証した。
• 不完全なスケッチに対しても高いロバスト性を示した：QMUL-ChairV2では50%のストロークを削除してもacc.@10が87.58%を維持し、QMUL-ShoeV2では85.64%を維持した。
• 明示的階層モデリング（SWIREで71.54%）は上限性能を示し、本手法の暗黙的階層発見モジュールがその上限性能の94.5%を達成した。
• 共注意力の最適な領域数（k）は16であり、正確性と推論時間のバランスを最適化した。kを増加させると時間コストが上昇し、逆にkを減少させると正確性が低下した。