[論文レビュー] A Convolution Tree with Deconvolution Branches: Exploiting Geometric Relationships for Single Shot Keypoint Detection

Amit Kumar, Rama Chellappa|arXiv (Cornell University)|Apr 6, 2017

Face recognition and analysis参考文献 26被引用数 3

ひとこと要約

本稿では、学習可能な変換関数を用いてキーポoin間の幾何的関係をモデル化することで、顔のキーポイント検出を向上させる、ポーズに応じたルーティング機構を備えた新規なエンドツーエンド・ワンショット畳み込み・デコンボリューションネットワークを提案する。この手法は、ポーズに基づくルーティングを用いたデコンボリューションツリー構造を採用し、可視および不可視キーポイント間でメッセージを効果的に伝達する。AFLWおよびAFWデータセットにおいて、それぞれ3.93および3.28の正規化平均誤差（NME）を達成し、最先端の性能を発揮した。

ABSTRACT

Recently, Deep Convolution Networks (DCNNs) have been applied to the task of face alignment and have shown potential for learning improved feature representations. Although deeper layers can capture abstract concepts like pose, it is difficult to capture the geometric relationships among the keypoints in DCNNs. In this paper, we propose a novel convolution-deconvolution network for facial keypoint detection. Our model predicts the 2D locations of the keypoints and their individual visibility along with 3D head pose, while exploiting the spatial relationships among different keypoints. Different from existing approaches of modeling these relationships, we propose learnable transform functions which captures the relationships between keypoints at feature level. However, due to extensive variations in pose, not all of these relationships act at once, and hence we propose, a pose-based routing function which implicitly models the active relationships. Both transform functions and the routing function are implemented through convolutions in a multi-task framework. Our approach presents a single-shot keypoint detection method, making it different from many existing cascade regression-based methods. We also show that learning these relationships significantly improve the accuracy of keypoint detections for in-the-wild face images from challenging datasets such as AFW and AFLW.

研究の動機と目的

• 極端なポーズ変化、被覆、不可視キーポイントのラベル欠落が生じる非制約的かつリアルな画像における正確な顔キーポイント検出の課題に対処すること。
• スコアマップを超えた顔キーポイント間の幾何的関係を、特徴レベルでの空間的依存関係を学習することでモデル化すること。
• 推定された3次元ヘッドポーズに条件付けられたルーティングにより、一部のキーポイントが被覆されたり不可視であっても、効果的なメッセージ伝達を可能にすること。
• キャスケード回帰を回避し、残差SqueezeNetを用いてモデルパラメータを削減することで、高速で反復処理を必要としない完全畳み込み型フレームワークを構築すること。
• 統合的なマルチタスク学習フレームワーク内で、2次元キーポイント位置と可視性、および3次元ヘッドポーズを同時に高精度に推定すること。

提案手法

• 本手法は、顔キーポイント間で特徴レベルのメッセージを伝達するため、木構造を持つデコンボリューションブランチを有する深層畳み込みネットワークを採用する。
• ポーズに基づくルーティング関数により、予測された3次元ヘッドポーズに応じて関連するデコンボリューションブランチのみを動的に活性化し、意味のあるメッセージのみを伝達することを保証する。
• 畳み込みとして実装された学習可能な変換関数により、特徴レベルでのキーポイントペア間の空間的関係をモデル化し、幾何的制約を捉える。
• ネットワークはエンドツーエンドのマルチタスクフレームワークで学習され、2次元キーポイント位置、可視性状態、3次元ヘッドポーズを同時に予測する。
• 性能を維持しつつモデルパラメータを削減するため、残差SqueezeNetが採用され、効率的な推論を可能にする。
• 本フレームワークは、トレーニング時に不可視キーポイントをバックグラウンドとして扱うことで、被覆を暗黙的に処理するが、それでもメッセージ伝達により正確に位置を予測できる。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワーク内で、学習可能な畳み込み変換関数を用いて、特徴レベルでの顔キーポイント間の幾何的関係を効果的にモデル化できるか？
• RQ2 非制約的顔画像における被覆やポーズ変化に対して、キーポイント間のメッセージ伝達をどのようにして強化できるか？
• RQ3 3次元監視なしで、ワンショットでエンドツーエンドの深層学習フレームワークが、キャスケード回帰手法を上回る性能を発揮できるか？
• RQ4 固定または条件なしのメッセージ伝達と比較して、ポーズに応じたルーティングは、キーポイント検出精度をどの程度向上させるか？
• RQ5 統合ネットワークが、2次元キーポイント位置、可視性、3次元ヘッドポーズを高精度に同時に予測できるか？

主な発見

• 提案手法はAFLWデータセットでNME 3.93を達成し、再アノテートデータを用いるCCLを除く、すべての先行最先端手法を上回った。
• AFWデータセットではNME 3.28を達成し、特に部分的または側顔の困難な画像でも優れた性能を示した。
• 累積誤差分布曲線から、AFLWの90％以上の顔が顔のサイズの5％未満の誤差で推定されており、変動に強いことが示された。
• 定性的な結果から、デコンボリューションツリーを介した効果的なメッセージ伝達により、プロファイル顔においても不可視キーポイントの正確な予測が可能であることが確認された。
• AFWにおけるポーズ推定性能は、85％以上の顔が真のヘッドポーズから±15°以内に予測されており、3次元ポーズ推定ブランチの有効性が裏付けられた。
• アブレーションスタディにより、ポーズに応じたルーティングと特徴レベルのメッセージ伝達の組み合わせが、これらのコンponentsを欠いたベースラインと比較して、顕著に検出精度を向上させることを確認した。