[論文レビュー] Superimposition-guided Facial Reconstruction from Skull

Celong Liu, Xin Li|arXiv (Cornell University)|Sep 28, 2018

Face recognition and analysis参考文献 10被引用数 5

ひとこと要約

本論文は、画像データベースから顔候補を生成し、頭蓋骨-顔重ね合わせを用いて最良のマッチを特定し、制約付き生成的インpaintingにより顔を精錬する、新規の頭蓋骨ガイド付き顔再構築パイプラインを提案する。この手法は、CT由来の頭蓋骨-顔ペアにおいて高い正確性（平均誤差2.3–2.7mm）を達成し、幾何学的ガイドによる再修正によって曇りを減らすことで、直接的な画像ベース再構築よりも顕著に優れている。

ABSTRACT

We develop a new algorithm to perform facial reconstruction from a given skull. This technique has forensic application in helping the identification of skeletal remains when other information is unavailable. Unlike most existing strategies that directly reconstruct the face from the skull, we utilize a database of portrait photos to create many face candidates, then perform a superimposition to get a well matched face, and then revise it according to the superimposition. To support this pipeline, we build an effective autoencoder for image-based facial reconstruction, and a generative model for constrained face inpainting. Our experiments have demonstrated that the proposed pipeline is stable and accurate.

研究の動機と目的

• 頭蓋骨からの直接的顔再構築が、軟部組織の厚さ制約が限られるため、不適切な問題であることを解決すること。
• 手作業による粘土モデリングに代わってデータ駆動型で自動化されたパイプラインを導入することで、法医学的顔再構築における主観性と不安定性を低減すること。
• 画像ベースの顔候補と頭蓋骨-重ね合わせを活用して幾何学的精錬をガイドすることで、再構築の正確性を向上させること。
• 顔のリアルリズムを保ちながら頭蓋骨解剖学に一致するようにする制約付き生成モデルを開発すること。

提案手法

• まず、ポートレート写真のデータベースで訓練された統合型顔オートエンコーダーを用いて、複数の3次元顔候補を生成する。
• ランドマークベースの登録を用いて各候補顔をクエリ頭蓋骨とアライメントし、一致度スコアを計算することで、頭蓋骨-顔重ね合わせを実行する。
• 重ね合わせの結果に基づき、幾何学的整合性とアライメントメトリクスを用いて、最良のマッチング顔候補を選択する。
• 頭蓋骨制約に従ってガイドされる幾何学的制約付き生成的顔インpaintingモデルを適用し、選択された顔を、解剖学的正確性を向上させるために修正する。
• 生成モデルの探索範囲を、頭蓋骨に適合する全体的に現実的な顔形状に制限するため、潜在空間に幾何学的損失項を導入する。
• 3次元生成モデルの訓練に課題があるため、3次元幾何的インpaintingを画像レベルのインpaintingに変換し、その後に3次元再構築を行う。

実験結果

リサーチクエスチョン

• RQ1 直接的な幾何的変形法と比較して、データ駆動型で画像ベースの顔再構築パイプラインが、頭蓋骨に基づく顔再構築における曇りを低減し、正確性を向上させられるか。
• RQ2 多様な画像生成顔の中から、頭蓋骨-顔重ね合わせが、最も妥当な顔候補を効果的に選択できるか。
• RQ3 制約付き生成的顔インpaintingが、顔の幾何学を頭蓋骨解剖学にさらに適合させるために、顔候補をどの程度精錬できるか。
• RQ4 幾何的正確性の観点から、提案されたパイプラインは、ベースラインの画像ベース再構築手法と比較して、どの程度優れているか。
• RQ5 入力画像の品質が悪い、極端な表情、または遮蔽がある場合、システムの失敗モードは何か。

主な発見

• 提案されたパイプラインは、1つのCT由来の頭蓋骨-顔ペアで平均再構築誤差2.7mm、もう1つで2.3mmを達成し、直接的な画像ベース再構築の誤差よりも顕著に低かった。
• 初期の顔候補にかかわらず、安定的かつ正確な顔再構築を実現しており、入力の変動に対して頑健であることが示された。
• 制約付き生成的インpaintingモデルは、顔の幾何学を頭蓋骨にさらに適合させるのに成功しており、色符号化誤差マップの偏差が減少したことで裏付けられた。
• 失敗事例は主に、入力画像に極端な表情や遮蔽がある場合に発生し、これによりランドマーク検出が不正確になり、結果として幾何的アーチファクトが生じた。
• 視覚的アングルが悪い、またはランドマークが欠落している画像では、システムの性能が著しく低下する。これは、オートエンコーダーが再構築のための正確なランドマーク検出に依存しているためである。
• 現在の2Dから3Dへのインpaintingパイプラインは制限要因である。今後の研究では、直接的な3次元生成モデルの開発を計画しているが、大規模な3次元顔データセットとアーキテクチャの整備が依然として課題である。