[論文レビュー] StyleMeUp: Towards Style-Agnostic Sketch-Based Image Retrieval

Aneeshan Sain, Ayan Kumar Bhunia+3 more|arXiv (Cornell University)|Mar 29, 2021

Advanced Image and Video Retrieval Techniques参考文献 56被引用数 10

ひとこと要約

本稿では、メタ学習されたクロスモーダル変分オートエンコーダーを用いてスケッチの内容を共有される意味的特徴とユーザー固有のスタイル要因に分離する、スタイルに依存しないスケッチベース画像検索フレームワークであるStyleMeUpを提案する。スタイル適応型特徴変換層とモデルに依存しないメタ学習を用いた分離正則化項を導入することで、再訓練なしに未観測のユーザーのスタイルに一般化可能であり、カテゴリレベルおよびインスタンスレベルのSBIRベンチマークで最先端の性能を達成する。

ABSTRACT

Sketch-based image retrieval (SBIR) is a cross-modal matching problem which is typically solved by learning a joint embedding space where the semantic content shared between photo and sketch modalities are preserved. However, a fundamental challenge in SBIR has been largely ignored so far, that is, sketches are drawn by humans and considerable style variations exist amongst different users. An effective SBIR model needs to explicitly account for this style diversity, crucially, to generalise to unseen user styles. To this end, a novel style-agnostic SBIR model is proposed. Different from existing models, a cross-modal variational autoencoder (VAE) is employed to explicitly disentangle each sketch into a semantic content part shared with the corresponding photo, and a style part unique to the sketcher. Importantly, to make our model dynamically adaptable to any unseen user styles, we propose to meta-train our cross-modal VAE by adding two style-adaptive components: a set of feature transformation layers to its encoder and a regulariser to the disentangled semantic content latent code. With this meta-learning framework, our model can not only disentangle the cross-modal shared semantic content for SBIR, but can adapt the disentanglement to any unseen user style as well, making the SBIR model truly style-agnostic. Extensive experiments show that our style-agnostic model yields state-of-the-art performance for both category-level and instance-level SBIR.

研究の動機と目的

• 既存のモデルが一般化に失敗するユーザー固有のスケッチスタイルの変動という、スケッチベース画像検索（SBIR）における重要な課題に取り組む。
• 現在のSBIRモデルが共有される意味的コンテンツにのみ焦点を当て、モダリティ固有のスケッチスタイルを無視するという制限を克服する。
• 再訓練なしに未観測のユーザーの描画スタイルに動的に適応できるフレームワークを開発し、真のスタイルに依存しない検索を実現する。
• 一般化の向上を図るため、不変（共有）および変動（スタイル固有）の成分にスケッチコンテンツを効果的に分離する。
• スタイル多様性下でもカテゴリレベルおよびインスタンスレベルのスケッチベース画像検索において、最先端の性能を達成する。

提案手法

• スケッチと写真を同時に変分オートエンコーダー（VAE）で符号化し、不変の意味的コードとモダリティ固有のスタイルコードに分離された潜在表現を生成する。
• エンコーダー層の間に学習可能な特徴変換（FT）層を導入し、未観測のスケッチスタイルにエンコーダーが動的に適応できるようにする。
• 入力スケッチに応じて不変意味的コードの分離度を適応的に調整する新しい正則化項を設計し、コンテンツとスタイルの強固な分離を保証する。
• エピソード学習を用いたモデルに依存しないメタ学習（MAML）フレームワークで全モデルを訓練し、各エピソードで新しいユーザーのスタイルとオブジェクトカテゴリをサンプリングする。
• 再構成、翻訳、三重項ランク付けの目的関数を統合することで、モダリティ間の意味的整合性を維持し、検索精度を向上させる。
• エンコーダーから得られる分離された不変コードを検索用の特徴表現として活用し、スタイル変動に対して耐性を持つモデルを実現する。

Figure 1: Owing to subjective interpretation, different users sketch the same object instance (a shoe here) very differently. Without considering this style diversity, an existing SBIR model yields completely different results for different sketches. With our style-agnostic model, the same intended

実験結果

リサーチクエスチョン

• RQ1 再訓練なしに未観測のユーザーのスケッチスタイルに効果的に一般化できるスケッチベース画像検索モデルは構築可能か？
• RQ2 新しいスタイルに動的に適応可能な形で、スケッチコンテンツとスタイルの分離表現をどのように学習できるか？
• RQ3 未観測のユーザーのスタイルにメタ学習による適応を可能にするために必要な構成要素は何か？
• RQ4 スケッチスタイルの明示的分離は、高いスタイル変動下でも検索性能を向上させるか？
• RQ5 提案されたフレームワークは、カテゴリレベルおよびインスタンスレベルのSBIRベンチマークで最先端の性能を達成できるか？

主な発見

• 提案モデルはQMUL Shoe-V2で36.47%、Sketchy（ext）で81.83%の精度を達成し、先行する最先端手法を上回った。
• QMUL Shoe-V2でmAPが0.905、Sketchy（ext）で0.927を達成し、既存のベースラインを顕著に上回った。
• アブレーションスタディの結果、特徴変換層を削除すると精度が3.19%低下し、スタイルに依存しない適応に不可欠であることが確認された。
• 分離正則化項を削除すると、Shoe-V2でのAcc@1が3.9%低下し、動的分離制御におけるその役割が裏付けられた。
• QMUL ChairV2での検索推論時間は1クエリあたり0.18msであり、ベースラインB-Basic-SN（0.14ms）と同等の効率性を示した。
• QuickDrawでのスケッチ対スケッチ検索設定において、75.81%の精度を達成し、Sketch-A-Net（68.71%）を上回り、学習された表現の汎用性を裏付けた。

Figure 2: Our core model is a VAE framework that disentangles the modal variant and invariant semantics in a sketch in a cross-modal translation setting. While a regulariser network regularises parameters of the invariant component ( $\Omega_{inv}$ ), feature transformation (FT) layers aid in style-