[論文レビュー] Learning Dense Correspondence via 3D-guided Cycle Consistency

Tinghui Zhou, Philipp Krähenbühl+3 more|arXiv (Cornell University)|Apr 18, 2016

Human Pose and Action Recognition参考文献 31被引用数 27

ひとこと要約

本稿では、教師なしラベルを用いて画像内での密なインスタンス間対応を学習するための3次元ガイド付きサイクル整合性フレームワークを提案する。3次元CADモデルから生成された合成ビューを用いて4サイクルの対応関係を構築し、サイクル整合性を教師信号として用いることで、畳み込みニューラルネットワーク（CNN）をエンドツーエンドで学習する。この手法により、テスト時にCADモデルを必要としない状況でも、対応関係とセグメンテーション転送のタスクで最先端の性能を達成する。

ABSTRACT

Discriminative deep learning approaches have shown impressive results for problems where human-labeled ground truth is plentiful, but what about tasks where labels are difficult or impossible to obtain? This paper tackles one such problem: establishing dense visual correspondence across different object instances. For this task, although we do not know what the ground-truth is, we know it should be consistent across instances of that category. We exploit this consistency as a supervisory signal to train a convolutional neural network to predict cross-instance correspondences between pairs of images depicting objects of the same category. For each pair of training images we find an appropriate 3D CAD model and render two synthetic views to link in with the pair, establishing a correspondence flow 4-cycle. We use ground-truth synthetic-to-synthetic correspondences, provided by the rendering engine, to train a ConvNet to predict synthetic-to-real, real-to-real and real-to-synthetic correspondences that are cycle-consistent with the ground-truth. At test time, no CAD models are required. We demonstrate that our end-to-end trained ConvNet supervised by cycle-consistency outperforms state-of-the-art pairwise matching methods in correspondence-related tasks.

研究の動機と目的

• 教師ラベルが入手できない状況における、異なるオブジェクトインスタンス間の密な対応関係を解決すること。
• 同一3次元モデルの複数のビュー間における構造的整合性を、学習の教師信号として活用すること。
• 推論時において3次元モデルを必要としないエンドツーエンドのディーブラーニングフレームワークを構築すること。
• 学習された対応関係を用いて、3次元形状から実画像へのセグメンテーションなど、クロスドメインのラベル転送を可能にすること。

提案手法

• 各実画像ペアに対して、3次元CADモデルを選択し、2つの合成ビューを生成することで、4サイクル（実画像1 → 実画像2 → 合成画像1 → 合成画像2 → 実画像1）を構築する。
• レンダリングエンジンによって提供される、合成対合成間の教師付き対応関係により、サイクル整合性制約の監視が可能になる。
• ネットワークは、予測された実画像同士のフローと、合成ビューを通る合成フローの差を最小化するように学習され、サイクル整合性が強制される。
• 訓練目的は、4サイクルの周囲を回るフローの合成が元の点に戻ることを保証し、メタ教師信号の一種として機能する。
• ネットワークは同時に実画像→実画像、実画像→合成画像、合成画像→実画像の対応関係を予測し、サイクル整合性が主な損失関数として機能する。
• テスト時には、3次元モデルや合成ビューを一切使用しない。

実験結果

リサーチクエスチョン

• RQ1 教師ラベルなしで、サイクル整合性をメタ教師信号として用いて、深層ネットワークによる密な対応関係学習が可能か？
• RQ2 3次元CADモデルから得られる合成対応関係は、実画像間の対応関係学習を効果的にガイドできるか？
• RQ3 3次元ガイド付きサイクル整合性によるエンドツーエンド学習は、SIFTフローのような従来の手作業特徴抽出手法を上回るか？
• RQ4 学習された対応関係ネットワークは、セグメンテーション転送のような後続タスクに一般化可能か？
• RQ5 ネットワークは画像間の一致可能な領域をどれほど正確に予測できるか？また、SIFTフローに比べて優れているか？

主な発見

• 提案手法はPASCAL-Partデータセットにおいて、平均一致可能領域予測精度67.8%を達成し、SIFTフローの57.1%を顕著に上回った。
• 対応関係タスクにおいて、教師ラベルを必要としない最新のペアワイズマッチング手法（SIFTフロー、DSPマッチングなど）を上回った。
• ネットワークは3次元形状から実画像へのセグメンテーションマスクの転送に成功し、SIFTフローに比べてより正確な結果を得た。
• 細かな境界や複雑なオブジェクト部品のような困難なケースに対しても、良好な一般化性能を示したが、一部の一致可能領域の正確な局所化には課題を抱える場合もあった。
• 3次元CADモデルを教師信号のブリッジとして用いることで、外観や視点の大きな変化があっても、実画像の対応関係の学習が効果的に行えるようになった。
• サイクル整合性損失により、自明な解を防ぎ、4サイクル全体で幾何学的に整合性のあるフロー予測を保証し、耐障害性が向上した。