[論文レビュー] Learning Dense Correspondences between Photos and Sketches

Xuanchen Lu, Xiaolong Wang+1 more|arXiv (Cornell University)|Jul 24, 2023

Visual Attention and Saliency DetectionComputer Science被引用数 3

ひとこと要約

本論文は、125のカテゴリにまたがる6,250組のスケッチ・フォトペアにおいて、150,000件の人が手作業でアノテートした密な対応関係を含む新しいベンチマークPSC6kを紹介し、対照的学習と空間変換器を用いた自己教師あり手法を提案してスケッチとフォト間の密な対応関係を予測する。このアプローチは強力なベースラインを上回るが、モデルの予測と人の予測との間に体系的な乖離が生じており、異種モodal間での人間のような視覚的理解を達成する課題が浮き彫りになる。

ABSTRACT

Humans effortlessly grasp the connection between sketches and real-world objects, even when these sketches are far from realistic. Moreover, human sketch understanding goes beyond categorization -- critically, it also entails understanding how individual elements within a sketch correspond to parts of the physical world it represents. What are the computational ingredients needed to support this ability? Towards answering this question, we make two contributions: first, we introduce a new sketch-photo correspondence benchmark, $ extit{PSC6k}$, containing 150K annotations of 6250 sketch-photo pairs across 125 object categories, augmenting the existing Sketchy dataset with fine-grained correspondence metadata. Second, we propose a self-supervised method for learning dense correspondences between sketch-photo pairs, building upon recent advances in correspondence learning for pairs of photos. Our model uses a spatial transformer network to estimate the warp flow between latent representations of a sketch and photo extracted by a contrastive learning-based ConvNet backbone. We found that this approach outperformed several strong baselines and produced predictions that were quantitatively consistent with other warp-based methods. However, our benchmark also revealed systematic differences between predictions of the suite of models we tested and those of humans. Taken together, our work suggests a promising path towards developing artificial systems that achieve more human-like understanding of visual images at different levels of abstraction. Project page: https://photo-sketch-correspondence.github.io

研究の動機と目的

• 視覚理解のベンチマーク化のため、スケッチとフォト間の細分化された人が手作業でアノテートした対応データの不足に取り組むこと。
• 大規模な人が手作業でアノテートした監視データに依存せずに、フォトとスケッチという顕著に異なる画像モダリティ間の密な意味的対応関係を学習する自己教師あり手法を開発すること。
• 外観や抽象化の面で顕著なドメインシフトが生じる状況下でも、対照的学習と空間変換器ネットワークが、クロスモダリティ対応関係を効果的にモデル化できるかどうかを検証すること。
• 学習された対応関係の性能を人が手作業でアノテートした真値と比較し、人間の予測とモデルの予測との間の体系的な差異を同定すること。

提案手法

• 本手法は、スケッチとフォトペアからの共有潜在表現を抽出するために、対照的学習に基づくConvNetバックボーンを採用する。
• 空間変換器ネットワークを用いて、フォト特徴マップをスケッチ特徴マップに一致させるための密なワープフロー場を予測する。
• 合成データの拡張を用いて対応関係の監視を模擬することで、対照的損失と幾何的整合性の目的関数を組み合わせた自己教師あり学習でモデルを訓練する。
• 事前学習済みバックボーンからの階層的特徴を活用し、予測されたフロー場における前向き・後向きの整合性を最適化する。
• エンドツーエンド微分可能であるため、特徴抽出と対応関係予測の共同最適化が可能である。
• 本手法は、6,250組のスケッチ・フォトペアに対して細分化されたキーポイントアノテーションを提供する、新たに導入されたPSC6kベンチマークで評価される。

Figure 3: We propose a self-supervised framework for learning photo-sketch correspondence by estimating a dense displacement field that warps one image to the other. The framework consists of a multi-modal feature encoder that aligns the photo-sketch representation with a contrastive loss, and an ST

実験結果

リサーチクエスチョン

• RQ1 顕著なドメインギャップがあるにもかかわらず、自己教師ありの深層学習手法が、フォトとスケッチ間の密な意味的対応関係を効果的に学習できるか。
• RQ2 深層学習モデルの予測は、同じタスクにおいて人が手作業でアノテートした対応関係と、定量的・定性的にどのように比較できるか。
• RQ3 対照的表現学習が、フォトとスケッチ間のクロスモダリティ対応関係学習におけるゼロショット一般化をどの程度向上させるか。
• RQ4 現在のモデルが、人間の判断と比較して、対応関係を予測する際にどのような体系的な失敗を示しているか。

主な発見

• 提案された自己教師あり手法は、PSC6kベンチマーク上でスケッチとフォト間の密な対応関係を予測するタスクで、いくつかの強力なベースラインを上回った。
• モデルの予測は、他のワープベースの対応関係学習手法と定量的に整合的であり、フロー推定における頑健性を示している。
• 強力な性能を発揮しているにもかかわらず、モデルは特に細部の部分の一致やスケッチにおける抽象化の処理において、人が手作業でアノテートした対応関係から体系的にずれを示した。
• PSC6kベンチマークは、現在のモデルがスケッチで著しく抽象化されたり省略された部分を処理するのに苦労していることを明らかにした。これは、意味的抽象化をモデル化する際の限界を示唆している。
• 結果から、対照的学習と空間変換器はクロスモダリティ対応関係に有効であるが、複雑な視覚的抽象化タスクにおいて人間レベルの理解を再現するには至っていないことが示された。

Figure 5: Measuring human and model consistency. Each cell represents the mean pixel distance between correspondence predictions generated by two systems (whether artificial or human), normalized by the image size. We denote models trained on Photo-sketch pairs with PS, and models trained on PF-Pasc