[論文レビュー] Adversarial Learning of Structure-Aware Fully Convolutional Networks for Landmark Localization

Yu Chen, Chunhua Shen+4 more|arXiv (Cornell University)|Nov 1, 2017

Face recognition and analysis参考文献 96被引用数 13

ひとこと要約

本論文では、曇りや困難な単眼画像におけるランドマーク局所化を改善するために、条件付きGANを用いた構造に配慮した完全畳み込みネットワークを提案する。生成器が識別器が生物学的に不自然な構成を検出することを騙すように訓練されることで、この手法は人間の体の構造に関する事前知識を暗黙的に学習し、2次元顔ランドマーク、2次元人体ポーズ、3次元人体ポーズ推定ベンチマークにおいて、最先端の手法を著しく上回る性能を達成する。

ABSTRACT

Landmark/pose estimation in single monocular images have received much effort in computer vision due to its important applications. It remains a challenging task when input images severe occlusions caused by, e.g., adverse camera views. Under such circumstances, biologically implausible pose predictions may be produced. In contrast, human vision is able to predict poses by exploiting geometric constraints of landmark point inter-connectivity. To address the problem, by incorporating priors about the structure of pose components, we propose a novel structure-aware fully convolutional network to implicitly take such priors into account during training of the deep network. Explicit learning of such constraints is typically challenging. Instead, inspired by how human identifies implausible poses, we design discriminators to distinguish the real poses from the fake ones (such as biologically implausible ones). If the pose generator G generates results that the discriminator fails to distinguish from real ones, the network successfully learns the priors. Training of the network follows the strategy of conditional Generative Adversarial Networks (GANs). The effectiveness of the proposed network is evaluated on three pose-related tasks: 2D single human pose estimation, 2D facial landmark estimation and 3D single human pose estimation. The proposed approach significantly outperforms the state-of-the-art methods and almost always generates plausible pose predictions, demonstrating the usefulness of implicit learning of structures using GANs.

研究の動機と目的

• 極度の遮蔽やごみだらけの背景がある単眼画像において、ランドマーク局所化が不正確になるという課題に対処すること。
• 関節の接続関係を明示的にモデル化することなく、深層畳み込みネットワークに人間の体の幾何的事前知識を組み込むこと。
• adversarial 訓練を通じて現実的で整合性のあるポーズ構成を学習することで、ポーズ推定のロバスト性を向上させること。
• キーポイント特徴が曖昧または欠落している場合でも、生物学的に妥当なポーズを生成できるようにすること。
• 条件付きGANを用いた暗黙の構造学習の有効性を、複数のランドマーク局所化タスクにおいて示すこと。

提案手法

• 入力画像からランドマーク位置のヒートマップを回帰する完全畳み込み生成器ネットワーク（G）を採用する。
• 本物で整合性のあるポーズと、Gが生成する偽物で不整合なポーズを区別するように訓練されたポーズ識別器（P）を導入する。
• 識別器をだませるように生成器を adversarial に最適化することで、人間の体の構造制約を暗黙的に学習する。
• 入力画像を条件としてヒートマップを生成する条件付きGANの訓練を採用する。
• 識別器は、本物の正例ヒートマップと、Gが生成する偽物のヒートマップの両方で訓練される。
• 推論時においては、識別器を破棄し、生成器ネットワークのみを用いる。

実験結果

リサーチクエスチョン

• RQ1 構造に配慮した識別器を用いた adversarial 訓練は、遮蔽下でのランドマーク局所化のロバスト性を向上させることができるか？
• RQ2 GANベースのフレームワークは、人間の関節の幾何的制約をどれほど効果的に暗黙的に学習できるか？
• RQ3 極端な遮蔽状況下で、提案手法はベースラインのDCNNと比較してより現実的で整合性のあるポーズを生成できるか？
• RQ4 この手法は、顔、2次元人体、3次元人体の異なるランドマーク局所化タスクにどれほど一般化できるか？
• RQ5 識別器が不自然なポーズを拒否できる能力が、生成器がより現実的な予測へと導かれるか？

主な発見

• 提案手法は、2次元顔ランドマーク検出、2次元人体ポーズ推定、2次元から3次元へのポーズ変換ベンチマークで最先端の性能を達成した。
• 300-Wデータセットにおいて、特に困難な遮蔽条件下でも、平均誤差の観点で先行のSOTA手法を上回った。
• 定性的な結果から、キーポイント特徴が曖昧または欠落している場合でも、ネットワークが一貫して整合性のあるポーズ構成を生成することが示された。
• 除去実験の結果、識別器がベースラインモデルと比較して一般化性能を著しく向上させ、不自然な予測を削減することが確認された。
• ネットワークは、現実的な人体形状の多様体上に位置するポーズを学習しており、効果的な構造符号号化が行われていることが示された。
• 推論時のオーバーヘッドはほとんどない。トレーニング後は生成器のみを用いるため。