[論文レビュー] Unsupervised Landmark Learning from Unpaired Data

Yinghao Xu, Ceyuan Yang+3 more|arXiv (Cornell University)|Jun 29, 2020

Generative Adversarial Networks and Image Synthesis参考文献 38被引用数 9

ひとこと要約

本稿では、外見やポーズが異なるペアでない、アライメントのとれていない画像コレクションから教師なしランドマーク学習を行うためのクロス画像サイクル整合性フレームワーク（C³）を提案する。二重のスワップ・リコンストラクション戦略を適用し、ランドマークの等長性を強制するためのクロス画像フローモジュールを導入することで、ランドマーク検出および意味的アライメントの分野で最先端の性能を達成し、従来の教師なし手法を著しく上回った。

ABSTRACT

Recent attempts for unsupervised landmark learning leverage synthesized image pairs that are similar in appearance but different in poses. These methods learn landmarks by encouraging the consistency between the original images and the images reconstructed from swapped appearances and poses. While synthesized image pairs are created by applying pre-defined transformations, they can not fully reflect the real variances in both appearances and poses. In this paper, we aim to open the possibility of learning landmarks on unpaired data (i.e. unaligned image pairs) sampled from a natural image collection, so that they can be different in both appearances and poses. To this end, we propose a cross-image cycle consistency framework ($C^3$) which applies the swapping-reconstruction strategy twice to obtain the final supervision. Moreover, a cross-image flow module is further introduced to impose the equivariance between estimated landmarks across images. Through comprehensive experiments, our proposed framework is shown to outperform strong baselines by a large margin. Besides quantitative results, we also provide visualization and interpretation on our learned models, which not only verifies the effectiveness of the learned landmarks, but also leads to important insights that are beneficial for future research.

研究の動機と目的

• 外見やポーズが異なるペアでない画像コレクションから教師なしランドマーク学習を可能にすること。これにより、同一の外見で異なるポーズを持つ画像ペアに依存する従来の手法の制限を克服する。
• 既存の教師なし手法における外見とポーズの要因の不完全な分離を是正すること。これにより、ポーズ固有の表現に外見固有のアーティファクトが生じるのを防ぐ。
• クロス画像サイクル整合性と幾何学的等長性を強制することで、ランドマークの一貫性と分離性を向上させること。
• 学習されたランドマークが、顔の他に車や寝室など多様なオブジェクトカテゴリへも一般化できることを示すこと。

提案手法

• 各画像を他方の外見と自らのポーズで再構築する二重スワップ・リコンストラクション戦略を適用するクロス画像サイクル整合性（C³）フレームワークを提案。これによりサイクルを形成する。
• ペアでない画像間の密な対応マップを推定するためのクロス画像フローモジュールを導入。これにより、検出されたランドマーク間の幾何学的整合性を実現する。
• 等長性制約を課す：1つの画像で検出されたランドマークは、予測されたクロス画像フローに従って一貫して変換されなければならない。これにより、自明な解を防ぐ。
• 二段階の訓練プロセスを採用：まず、条件付きオートエンコーダーを用いて外見とポーズの特徴を分離。次に、敵対的損失と再構築損失を用いてサイクル整合性とランドマーク等長性を強制。
• 同一の外見で異なるポーズを持つペアを必要としない、自然な画像コレクションからのペアでないデータを活用する。
• クロス画像フローモジュールを意味的アライメントに応用し、関連タスクへの転送可能性を示す。

実験結果

リサーチクエスチョン

• RQ1 外見やポーズが異なるペアでない画像データに対して、固定変換を持つ合成画像ペアに依存せずに、教師なしランドマーク学習を効果的に行うことは可能か？
• RQ2 サイクル整合性は、ランドマーク表現学習における外見とポーズの要因の分離をどのように向上させられるか？
• RQ3 フローモジュールによるクロス画像幾何学的対応（幾何的対応）は、多様な画像分布にわたるランドマークの一貫性と一般化性をどのように向上させるか？
• RQ4 提案フレームワークは、顔以外のオブジェクトカテゴリ、例えば車や屋内シーンへどの程度一般化できるか？
• RQ5 学習されたランドマーク表現は、意味的アライメントなどの関連タスクの性能を向上させることができるか？また、効率性と正確性の面でSOTA手法と比べてどうか？

主な発見

• 提案されたC³フレームワークは、PF-PASCALデータセットにおいて意味的アライメントで80.1%のPCKを達成し、以前のSOTA手法NC-Netを1.2%上回った。FLOPsは17%（81 GFLOPs vs. 471 GFLOPs）にまで削減された。
• ランドマーク検出において、強力なベースラインを著しく上回り、ポーズ固有のランドマークが外見固有の要因から優れた分離性を示した。
• 可視化結果から、複雑なシーン（寝室や車など）においても、学習されたランドマークが幾何学的・意味的に一貫していることが示された。
• クロス画像フローモジュールはランドマークの一貫性を向上させ、意味的アライメントへの効果的な転送を可能にした。これにより、画像間の幾何学的関係をモデル化する役割が裏付けられた。
• フレームワークはペアでないデータから、外見のアーティファクトが生じない、分離されたポーズ固有のランドマークを効果的に学習した。定性的な比較でその有効性が示された。
• 車や寝室のシーンにおいても、一貫したランドマークパターンが出現し、構造的理解の強さが示された。