[論文レビュー] A Simple, Fast and Highly-Accurate Algorithm to Recover 3D Shape from 2D Landmarks on a Single Image

Ruiqi Zhao, Yan Wang+1 more|arXiv (Cornell University)|Sep 28, 2016

Face recognition and analysis参考文献 17被引用数 4

ひとこと要約

本論文では、1枚の画像からの2次元特徴点から3次元形状を正確に回復するフィードフォワード深層ニューラルネットワークを提案する。顔では再構成誤差が0.004未満、自動車では0.0022未満、人体では0.022未満、フラッグでは0.0004未満に達し、最先端手法を最大2倍の性能で上回る。モデルは高速に学習され、1秒間に1,000フレーム以上で実行可能であり、複数のカメラモデルに基づく革新的なデータ拡張により、ノイズや欠損データに対しても頑健である。

ABSTRACT

Three-dimensional shape reconstruction of 2D landmark points on a single image is a hallmark of human vision, but is a task that has been proven difficult for computer vision algorithms. We define a feed-forward deep neural network algorithm that can reconstruct 3D shapes from 2D landmark points almost perfectly (i.e., with extremely small reconstruction errors), even when these 2D landmarks are from a single image. Our experimental results show an improvement of up to two-fold over state-of-the-art computer vision algorithms; 3D shape reconstruction of human faces is given at a reconstruction error < .004, cars at .0022, human bodies at .022, and highly-deformable flags at an error of .0004. Our algorithm was also a top performer at the 2016 3D Face Alignment in the Wild Challenge competition (done in conjunction with the European Conference on Computer Vision, ECCV) that required the reconstruction of 3D face shape from a single image. The derived algorithm can be trained in a couple hours and testing runs at more than 1, 000 frames/s on an i7 desktop. We also present an innovative data augmentation approach that allows us to train the system efficiently with small number of samples. And the system is robust to noise (e.g., imprecise landmark points) and missing data (e.g., occluded or undetected landmark points).

研究の動機と目的

• 剛体、アーティキュレート、および高次元変形が生じる物体に一般に適用可能な、1枚の画像からの2次元特徴点から3次元形状を再構成するアルゴリズムの開発。
• 非密集またはスパarsな2次元基準点および非線形変形に対処する際、従来手法の低精度問題を解決すること。
• 高い精度を維持しながら、1秒1,000フレームを超えるリアルタイム性能を達成すること。
• 複数のカメラモデルに基づく新しいデータ拡張戦略を用いて、小規模なデータセットでも効果的に学習できるようにすること。

提案手法

• 2次元特徴点座標から3次元形状へのマッピングを学習するフィードフォワード深層ニューラルネットワークを、階層的非線形変換を用いて深度を回復するように訓練する。
• 予測された3次元座標と真値との間のL2距離を最小化する損失関数を用いて、エンドツーエンドでネットワークを訓練する。
• 複数のカメラビュー、スケール、視点を1つの3次元点群からシミュレートすることで、合成された2次元特徴点を生成する革新的なデータ拡張技術を採用する。
• 大規模データセットにはミニバッチ学習を、小規模データセットには拡張されたデータを用いた同じアーキテクチャを効率的に適用する。
• モデルはグローバルスケーリングに対して不変であり、スケール要因とは独立して3次元形状を推定する。
• 不完全または汚染された特徴点集合を用いた学習により、ノイズや欠損データに対する頑健性を実現する。

実験結果

リサーチクエスチョン

• RQ1 1つの深層ニューラルネットワークが、剛体、アーティキュレート、および高次元変形が生じる形状を含む多様な物体カテゴリに一般化可能か。これは1枚の画像からの2次元特徴点のみを用いて検証する。
• RQ2 最先端手法を最大2倍の性能で上回る3次元形状再構成精度を実現しつつ、リアルタイム推論速度を維持できるか。
• RQ3 2次元特徴点がノイズを含むか、一部が欠損している場合、深層学習モデルがどの程度の精度と頑健性を保てるか。
• RQ4 実世界の3次元-2次元データペアが限られている状況でも、合成データ拡張を用いて効果的な学習が可能か。

主な発見

• 提案手法は、顔に対して平均3次元再構成誤差0.004を達成し、先行研究の最先端手法を著しく上回る。
• 自動車に対しては平均再構成誤差0.0022を記録し、剛体で詳細な物体において高い精度を示す。
• 人体に対しては平均誤差0.022を記録し、アーティキュレート構造において優れた性能を示す。
• 高次元変形が生じるフラッグに対しては平均誤差が0.0004にまで低下し、非剛体で動的な形状において優れた性能を発揮する。
• i7デスクトップ上で1秒間に1,000フレームを超える速度で実行され、リアルタイム性能を超過する。
• 特徴点座標に最大5％のガウスノイズが加わっても、1サンプルあたり1つの特徴点が欠損していても、低誤差を維持する。