[論文レビュー] 3D Dense Face Alignment via Graph Convolution Networks

Huawei Wei, Shuang Liang+1 more|arXiv (Cornell University)|Apr 11, 2019

Face recognition and analysis参考文献 31被引用数 25

ひとこと要約

本論文は、2次元画像から顔メッシュ上で直接3次元顔座標を回帰することで、グリッドベースの表現による歪みなしに幾何構造を保持する、グラフ畳み込みネットワーク（GCN）に基づく3次元密な顔アライメント手法を提案する。本手法は複数のベンチマークで最先端の性能を達成し、AFLW2000-3Dで平均正規化誤差2.44を達成した。

ABSTRACT

Recently, 3D face reconstruction and face alignment tasks are gradually combined into one task: 3D dense face alignment. Its goal is to reconstruct the 3D geometric structure of face with pose information. In this paper, we propose a graph convolution network to regress 3D face coordinates. Our method directly performs feature learning on the 3D face mesh, where the geometric structure and details are well preserved. Extensive experiments show that our approach gains superior performance over state-of-the-art methods on several challenging datasets.

研究の動機と目的

• 3次元顔アライメントにおけるグリッドベースの3次元顔表現の限界、例えば量子化誤差や歪み誤差を解消すること。
• グラフ畳み込みネットワーク（GCN）を用いて、3次元顔メッシュ上で直接動作する深層学習フレームワークを開発し、幾何的忠実性を保持すること。
• メッシュ上で階層的・粗〜細の特徴抽出を活用することで、3次元顔アライメントおよび再構成において優れた性能を達成すること。
• 滑らかさ損失の有効性を検証し、アライメント精度を損なわずに生成された3次元顔の視覚的品質を向上させること。

提案手法

• グラフ畳み込みネットワーク（GCN）を用いて、中間のグリッド表現を経由せずに、3次元顔メッシュ上で直接3次元顔座標のエンドツーエンド回帰を実行する。
• グラフ構造データに適応したU-Net風のエンコーダ・デコーダアーキテクチャを採用し、残差接続とインスタンス正規化を組み合わせる。
• メッシュのサンプリング技術を用いた粗〜細戦略を導入し、顔メッシュ全体にわたるマルチスケール特徴を捉える。
• チェビシェフ多項式（ChebyNet）によるスペクトルグラフ畳み込みを活用し、メッシュグラフ上で効率的かつ局所的なメッセージパッシングを実現する。
• 3次元座標におけるL1損失と滑らかさ損失を組み合わせたマルチタスク損失を最適化に用いる。
• 3次元再構成タスクの評価には、出力点群と真値点群を比較するために反復的最近傍点法（ICP）アライメントを適用する。

実験結果

リサーチクエスチョン

• RQ1 パrametricモデルやグリッドベースの表現に依存せずに、2次元画像からグラフ畳み込みネットワークが3次元顔の幾何を効果的に学習できるか。
• RQ2 UVマップやボクセル化を用いる手法と比較して、3次元顔メッシュ上で直接回帰する手法は、アライメント精度および幾何的忠実性においてどのように差をつけるか。
• RQ3 3次元顔生成において、アライメント精度と表面の滑らかさの最適なトレードオフは何か。また、トレーニング中にそのバランスをどのように制御できるか。
• RQ4 提案手法のGCNベースのアプローチは、多様なデータセットやポーズ変動に対してどの程度一般化可能か。

主な発見

• 提案手法はAFLW2000-3Dベンチマークで平均正規化誤差（NME）2.44を達成し、PRN（2.75）や3DDFA+SDM（3.43）を含む、すべての最先端手法を上回った。
• 45Kポイントのアライメントタスクでは、NMEが3.35に達し、高密度の教師信号に対しても頑健であることが示された。
• 定性的な結果から、一部のケースでは予測されたランドマークが真値を上回る精度を示しており、特に困難なポーズにおいても高い精度が得られていることが示された。
• アブレーションスタディにより、滑らかさ損失の重みα = 0.1がアライメント精度と表面の滑らかさのバランスを最適に保つことが確認された。
• フィロレンスデータセットでは、トレーニングデータ（300W-LP）とテストデータ（フィロレンス）のドメインギャップがあるにもかかわらず、PRNをわずかに上回る再構成性能を達成した。
• 視覚的結果から、目の周辺や鼻の細かな幾何や表情の詳細など、困難な領域でも顔の詳細が良好に保持されていることが確認された。