[論文レビュー] Cross-modal Deep Face Normals with Deactivable Skip Connections

Victoria Fernández Abrevaya, Adnane Boukhayma+2 more|arXiv (Cornell University)|Mar 21, 2020

Face recognition and analysis参考文献 68被引用数 8

ひとこと要約

本論文は、無効化可能なスキップ接続と共有潜在空間を用いて、屋外で撮影されたRGB画像から高品質な顔面法線を推定するクロスモーダル深層学習フレームワークを提案する。ペア化された画像・法線データとペア化されていないデータを同時に学習することで、Florenceデータセットにおいて角度誤差をほぼ10%削減し、より鋭く現実的である3D顔再構築を達成した。

ABSTRACT

We present an approach for estimating surface normals from in-the-wild color images of faces. While data-driven strategies have been proposed for single face images, limited available ground truth data makes this problem difficult. To alleviate this issue, we propose a method that can leverage all available image and normal data, whether paired or not, thanks to a novel cross-modal learning architecture. In particular, we enable additional training with single modality data, either color or normal, by using two encoder-decoder networks with a shared latent space. The proposed architecture also enables face details to be transferred between the image and normal domains, given paired data, through skip connections between the image encoder and normal decoder. Core to our approach is a novel module that we call deactivable skip connections, which allows integrating both the auto-encoded and image-to-normal branches within the same architecture that can be trained end-to-end. This allows learning of a rich latent space that can accurately capture the normal information. We compare against state-of-the-art methods and show that our approach can achieve significant improvements, both quantitative and qualitative, with natural face images.

研究の動機と目的

• 屋外で撮影された単一のRGB画像から正確な顔面法線を推定する課題に取り組む。これは、ペア化されたトレーニングデータの限られた可用性によって妨げられている。
• ペア化されたデータとペア化されていない画像・法線データを活用することで、3D顔再構築における一般化性能と細部回復を向上させる。
• 画像ドメインと法線ドメイン間での有効な特徴転送を可能にする統合アーキテクチャを設計する。同時に、クロスモーダル制約により、ロバスト性を維持する。
• マルチブランチネットワークにおける標準的なスキップ接続の制限を克服するため、トレーニングモダリティに応じて接続をオン・オフできる新しい無効化可能メカニズムを導入する。

提案手法

• 本手法は、共有潜在空間を備えた二重ブランチのエンコーダ・デコーダアーキテクチャを採用する。一方のブランチは画像を処理する（画像エンコーダ $E_I$ と法線デコーダ $D_N$）、もう一方は法線を処理する（法線エンコーダ $E_N$ と画像デコーダ $D_I$）。これにより、ペア化されたデータとペア化されていないデータを同時に学習可能となる。
• 画像エンコーダ $E_I$ と法線デコーダ $D_N$ 間に、無効化可能なスキップ接続を導入する。これは、入力モダリティに応じてトレーニング中に動的にオン・オフ可能であり、画像から法線への変換時に法線エンコーダからの干渉を防ぐ。
• 自己符号化（画像→画像および法線→法線）の再構成損失と、共有潜在空間を整列させるためのサイクル整合性損失を組み合わせて、エンド・トゥ・エンドでモデルを最適化する。
• アクティブなスキップ接続を通じて、画像ドメインから法線ドメインへの顔の細部の特徴転送が可能となる。一方、自己符号化ブランチは、法線→法線および画像→画像の再構成により、強力な幾何的事前知識を提供する。
• 画像のみのデータでトレーニングする際には、スキップ接続が非アクティブとなる。これにより、法線エンコーダからの誤った勾配が生じるのを回避する。一方、ペア化されたデータで学習する際には、細部の忠実度を保つために接続がアクティブになる。
• L1損失（法線のもの）、画像のための知覚損失、およびサイクル整合性を組み合わせたマルチタスク損失を用いて最適化することで、ロバストかつ一般化可能な特徴学習が可能となる。

実験結果

リサーチクエスチョン

• RQ1 統合された深層学習アーキテクチャは、制約のない環境下で、ペア化された画像・法線データとペア化されていないデータを効果的に活用し、顔法線推定を向上させることができるか？
• RQ2 マルチモーダル自己符号化設定において、関係のないブランチからの干渉を防ぎつつ、画像ドメインから法線ドメインへの細部の転送を可能にするスキップ接続は、どのように設計できるか？
• RQ3 二重自己符号化ブランチを備えた共有潜在空間を導入することで、標準的なエンコーダ・デコーダモデルと比較して、法線予測のロバスト性と正確性がどの程度向上するか？
• RQ4 提案された無効化可能なスキップ接続機構は、固定または標準的なスキップ接続と比較して、角度誤差および視覚的品質において測定可能な改善をもたらすか？

主な発見

• 提案手法は、Florenceデータセットで平均角度誤差11.3° ± 1.5を達成し、先行研究の最先端手法と比較してほぼ10%の相対的改善を示した。
• Photofaceデータセットでは、平均角度誤差が22.8° ± 6.5に達し、真値と30°以内に収まる法線の割合が74.1%にのぼり、アブレーションバージョンを上回る性能を示した。
• アブレーションスタディの結果、法線エンコーダ $E_N$ や画像デコーダ $D_I$ を削除すると、特に屋外画像において顕著な性能低下が生じ、クロスモーダル自己符号化の重要性が裏付けられた。
• 定性的な結果では、本モデルが、特に照明やテクスチャの厳しい条件下でも、まぶたの輪郭や陰影のパターンといった顔の細部を、他の手法よりもよく保持していることが確認された。
• 無効化可能なスキップ接続は不可欠である。それらが欠落したモデルは細部の忠実度を失い、クロスモーダルブランチが欠落したモデルはドメインシフトのため、実世界の画像への一般化に失敗した。
• 失敗事例では、極端な照明、遮蔽、低品質な画像、および異常なテクスチャの処理に限界が見られた。これらは、実世界データにおける一般的な外れ値である。