[論文レビュー] Learning Perspective Undistortion of Portraits

Yajie Zhao, Zeng Huang+7 more|arXiv (Cornell University)|May 18, 2019

Face recognition and analysis参考文献 71被引用数 6

ひとこと要約

本論文は、3次元顔モデルフィッティングに依存せずに、近距離ポートレートにおける極端な透視歪みを補正する深層学習ベースの手法を提案する。段階的なネットワークを用い、フロー予測、特徴のインpainting、カメラ距離推定を組み合わせることで、欠落した顔の特徴を回復させ、先行研究に比べ顔認識、ランドマーク検出、3次元再構築の精度を顕著に向上させる。

ABSTRACT

Near-range portrait photographs often contain perspective distortion artifacts that bias human perception and challenge both facial recognition and reconstruction techniques. We present the first deep learning based approach to remove such artifacts from unconstrained portraits. In contrast to the previous state-of-the-art approach, our method handles even portraits with extreme perspective distortion, as we avoid the inaccurate and error-prone step of first fitting a 3D face model. Instead, we predict a distortion correction flow map that encodes a per-pixel displacement that removes distortion artifacts when applied to the input image. Our method also automatically infers missing facial features, i.e. occluded ears caused by strong perspective distortion, with coherent details. We demonstrate that our approach significantly outperforms the previous state-of-the-art both qualitatively and quantitatively, particularly for portraits with extreme perspective distortion or facial expressions. We further show that our technique benefits a number of fundamental tasks, significantly improving the accuracy of both face recognition and 3D reconstruction and enables a novel camera calibration technique from a single portrait. Moreover, we also build the first perspective portrait database with a large diversity in identities, expression and poses, which will benefit the related research in this area.

研究の動機と目的

• 制約のない近距離ポートレートにおける透視歪みの課題に対処すること。これは人間の認知を歪め、コンピュータビジョンタスクの性能を低下させる。
• 特に極端な歪みや顔の表情の変化下でも不正確な3次元顔モデルフィッティングに依存する先行手法の限界を克服すること。
• 歪み補正と同時に遮蔽された顔の特徴（例：耳）を回復できる、堅牢でエンドツーエンドの深層学習フレームワークを開発すること。
• 学習と評価のための、ペアドされた歪みあり・なしのポートレート画像から構成される大規模かつ多様なデータセットを構築すること。
• 歪み補正を下流タスク（例：顔認識、3次元顔再構築）の前処理ステップとして用いることでその有効性を実証すること。

提案手法

• 入力ポートレートのカメラ-顔距離を推定するカメラ距離予測ネットワークを訓練し、歪み補正フローネットワークの入力を制御する。
• ピクセル単位の変位マップを生成するフローネットワークを用い、歪んだ入力を標準的な1.6m距離の姿勢にワープすることで、高周波数の詳細を保持する。
• 生成的モデリングを活用して一貫性があり現実的な詳細を合成することで、遮蔽された顔の特徴（例：耳）を補完する補完ネットワークを採用する。
• フローネットワークのワープ出力とインpaintingネットワークの完成した顔を融合するテクスチャブレンドステップを適用し、最終的な歪みなし画像を合成する。
• 多様なアイデンティティ、ポーズ、表情、照明条件を持つ3次元頭部モデルからレンダリングされたペアドポートレートの合成データセットを用い、教師あり学習を行う。
• 同一のポーズ、表情、照明条件を再現できる二重カメラビームスプリッターライムを設計し、現実世界のポートレートペアを撮影することで、実画像における正確な評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 3次元顔モデルフィッティングに依存せずに、深層学習ベースのアプローチが制約のないポートレートにおける極端な透視歪みを効果的に補正できるか？
• RQ2 フローに基づく歪み補正法が、透視効果によって遮蔽されるような顔の特徴（例：耳）をどの程度回復できるか？
• RQ3 歪み補正を下流タスク（例：顔認識、3次元顔再構築）の前処理ステップとして用いることで、その精度がどの程度向上するか？
• RQ4 単一画像ベースのカメラ距離予測が、多様なポートレート条件における歪み補正の汎化性能と精度を向上させられるか？
• RQ5 本手法は、合成データ、制約付きデータ、制約のない実ポートレートデータセットにおいて、先行の最良手法[25]と定量的・定性的に比較してどのように優れているか？

主な発見

• 本手法は、前処理を施したデータ上で94.73%の顔認証精度を達成し、元の歪みあり入力の91.37%から顕著に向上した。標準偏差は0.0067であった。
• OpenPoseを用いたランドマーク検出では、歪みなし画像で100%の成功率を達成したが、元の歪みありポートレートでは91%であった。平均正規化平均誤差（NME）は、歪みなしでは4.4%、歪みありでは4.9%であった。
• 歪みなし出力を入力として用いることで、3次元顔再構築の精度が顕著に向上し、歪みあり画像からのベースライン再構築と比較して幾何的誤差が低減した。
• 極端な透視歪みや強い顔の表情の変化下でも、遮蔽された顔の特徴（例：耳、顔の縁）を効果的に回復できた。
• 合成データ、制約付きデータ、制約のない実ポートレートデータセットにおいて、本手法は定量的・定性的な両評価で先行の最良手法[25]を上回った。
• 本手法は、単一のポートレート画像からカメラパラメータを予測することで、歪み補正を超えた応用可能性を示す、新しい単一画像カメラキャリブレーション技術を可能にした。