[論文レビュー] PARN: Pyramidal Affine Regression Networks for Dense Semantic Correspondence Estimation

Sangryul Jeon, Seungryong Kim+2 more|arXiv (Cornell University)|Jul 9, 2018

Image Retrieval and Classification Techniques被引用数 6

ひとこと要約

PARNは、粗くから細かく、段階的な方法で局所的に変化するアフィン変換場を推定することで、密度的な意味的対応を求めるための新しい深層学習フレームワークを提案する。マルチスケール特徴量を用いた残差アフィン回帰と、対応の一貫性を用いた弱教師付き学習スキームを採用し、連続的な変換場の量子化を回避することで、最先端の性能を達成する。

ABSTRACT

This paper presents a deep architecture for dense semantic correspondence, called pyramidal affine regression networks (PARN), that estimates locally-varying affine transformation fields across images. To deal with intra-class appearance and shape variations that commonly exist among different instances within the same object category, we leverage a pyramidal model where affine transformation fields are progressively estimated in a coarse-to-fine manner so that the smoothness constraint is naturally imposed within deep networks. PARN estimates residual affine transformations at each level and composes them to estimate final affine transformations. Furthermore, to overcome the limitations of insufficient training data for semantic correspondence, we propose a novel weakly-supervised training scheme that generates progressive supervisions by leveraging a correspondence consistency across image pairs. Our method is fully learnable in an end-to-end manner and does not require quantizing infinite continuous affine transformation fields. To the best of our knowledge, it is the first work that attempts to estimate dense affine transformation fields in a coarse-to-fine manner within deep networks. Experimental results demonstrate that PARN outperforms the state-of-the-art methods for dense semantic correspondence on various benchmarks.

研究の動機と目的

• 密度的な意味的対応推定におけるクラス内での外観および形状の変化に対処すること。
• 連続的な変換場を離散化せずに、画像間で局所的に変化するアフィン変換をモデル化すること。
• 対応の一貫性を用いた弱教師付きスキームを導入することで、訓練データの限られた監視情報に対処すること。
• 段階的で滑らかな精錬を可能にする段階的アーキテクチャを通じて、エンドツーエンドでの密度的対応の学習を可能にすること。

提案手法

• PARNは、粗くから細かくまで段階的に変換場を推定する段階的深層ネットワークを採用する。
• 各レベルで、ネットワークは残差アフィン変換を回帰し、それらを合成して最終的な変換場を形成する。
• 階層的・マルチスケールの精錬プロセスにより、滑らかさ制約が自然に強制される。
• 弱教師付き学習の目的関数が導入され、画像ペア間の対応の一貫性を通じて段階的な監視信号が生成される。
• この手法は完全に微分可能であり、エンドツーエンドで学習可能であり、連続的なアフィン場の量子化を回避する。
• ネットワークは共有バックボーンからの特徴マップを用いて、複数スケールでの変換場を推定する。

実験結果

リサーチクエスチョン

• RQ1 粗くから細かくまでの段階的で段階的な深層ネットワークアーキテクチャは、密度的意味的対応のための局所的に変化するアフィン変換を効果的にモデル化できるか？
• RQ2 教師付きデータが限られている状況で、対応の一貫性を用いた弱教師付き学習により、段階的な監視信号をどのように生成できるか？
• RQ3 明示的な正則化を用いずに、階層的構造が推定された変換場に自然に滑らかさを強制できるか？
• RQ4 離散的量子化や微分不能な要素に依存する手法よりも、連続的なアフィン場のエンドツーエンド学習が優れた性能を発揮するか？

主な発見

• PARNは、密度的意味的対応の複数のベンチマークで最先端の性能を達成し、既存の手法を上回る。
• 粗くから細かくまでの段階的で段階的な設計により、外観および形状のクラス内変化を効果的にモデル化できる。
• 弱教師付き学習スキームにより、限られたアノテーションデータでも一般化性能が著しく向上する。
• 連続的なアフィン場の量子化を回避することで、より正確で柔軟な変換推定が可能になる。
• 対応の一貫性から導かれる段階的監視信号は、学習の安定性と性能を向上させる。
• エンドツーエンドで微分可能なアーキテクチャにより、中間近似なしにネットワーク全体を完全に最適化できる。