[論文レビュー] FCSS: Fully Convolutional Self-Similarity for Dense Semantic Correspondence

Seungryong Kim, Dongbo Min+4 more|arXiv (Cornell University)|Feb 3, 2017

Advanced Image and Video Retrieval Techniques参考文献 42被引用数 14

ひとこと要約

FCSSは、深層ネットワーク内でエンドツーエンドに局所構造のサンプリングパターンと自己類似性測度を学習する、完全畳み込み型自己類似性記述子であり、クラス内での外観変動に対して頑健でありながらも、正確な局所化を維持する。弱い教師付き学習を用い、オブジェクト候補の事前知識と類似性の一貫性を活用することで、PASCAL-VOC、Caltech-101、Proposal Flowベンチマークで最先端の性能を達成している。

ABSTRACT

We present a descriptor, called fully convolutional self-similarity (FCSS), for dense semantic correspondence. To robustly match points among different instances within the same object class, we formulate FCSS using local self-similarity (LSS) within a fully convolutional network. In contrast to existing CNN-based descriptors, FCSS is inherently insensitive to intra-class appearance variations because of its LSS-based structure, while maintaining the precise localization ability of deep neural networks. The sampling patterns of local structure and the self-similarity measure are jointly learned within the proposed network in an end-to-end and multi-scale manner. As training data for semantic correspondence is rather limited, we propose to leverage object candidate priors provided in existing image datasets and also correspondence consistency between object pairs to enable weakly-supervised learning. Experiments demonstrate that FCSS outperforms conventional handcrafted descriptors and CNN-based descriptors on various benchmarks.

研究の動機と目的

• オブジェクトのインスタンス間で顕著な外観変動（色、照明、テクスチャの違いなど）が生じる状況下でも、密なセマンティックコアポンダンスを実現する挑戦に応えること。
• 既存のディープラーニングおよび手作業による記述子の限界を克服し、大きな外観変動に対しても高い局所化精度を維持できるCNNベースの記述子を開発すること。
• 豊富な密な真値対応アノテーションが不足する状況下でも、弱い教師付き学習により記述子の有効な学習を可能にすること。
• エンドツーエンドでマルチスケールの方法により、最適な局所パッチサンプリングパターンと微分可能な自己類似性測度を同時に学習すること。

提案手法

• 完全畳み込みネットワーク内に学習された局所自己類似性（LSS）構造を符号化する微分可能な畳み込み自己類似性（CSS）レイヤーを導入する。
• スキップ接続を用いて空間的詳細を保持しながら、スケジュールされたエンドツーエンドのマルチスケールな方法で、パッチサンプリングパターンと自己類似性測度を同時に学習する。
• 画像データセット内のオブジェクトペア間の類似性の一貫性とオブジェクト候補の事前知識を用いた弱い教師付き学習スキームを採用し、密なアノテーションへの依存度を低減する。
• マルチスケール特徴を統合するためのスキップ接続を活用し、局所化の正確性と変形に対する頑健性を向上させる。
• 密な対応を実現するためのフローエstimatationフレームワーク内にFCSS記述子を統合し、スパースフロー（SF）またはプロポーザルフロー（PF）最適化を用いる。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースの記述子は、クラス内での外観変動に対して本質的に頑健でありながら、密なセマンティックコアポンダンスの正確な局所化を維持できるか？
• RQ2 局所自己類似性は、エンドツーエンドの学習に適した方法で、完全畳み込みネットワークに効果的に統合され、微分可能に学習可能か？
• RQ3 オブジェクト候補と類似性の一貫性を用いた弱い教師付き学習は、限られた密な教師信号のもとで、記述子の性能をどの程度向上させ得るか？
• RQ4 提案されたFCSS記述子は、標準的なセマンティックコアポンダンスベンチマークで、既存のCNNベースおよび手作業による記述子を上回る性能を示すか？

主な発見

• Caltech-101データセットでは、FCSSが0.52のIoUスコアを達成し、VGG + SF（IoU: 0.51）およびFCSS + SF（IoU: 0.50）といった先行手法を上回った。
• PASCAL-VOC partデータセットでは、FCSS + PFがラベル転送精度（LT-ACC）0.83を達成し、次に優れた手法（0.80）を上回り、部品マッチング性能に優れた結果を示した。
• Proposal FlowベンチマークにおけるPCK@0.1では、FCSS + PFが0.46を達成し、UCN（0.44）およびFCSS + SF（0.47）を上回り、キーポイントの整合性が高く正確であることが示された。
• PASCAL-VOCおよびCaltech-101の可視化結果から、FCSSは最小限のずれとノイズを伴いながらも、最も正確で整合性のある密なフローフィールドを生成することが分かった。
• Taniaiら、Proposal Flow、PASCAL-VOC、Caltech-101を含む全評価ベンチマークで、本手法は最先端の結果を達成し、頑健性と一般化性能の両面で確認された。