[論文レビュー] What Face and Body Shapes Can Tell About Height

Semih Günel, Helge Rhodin+1 more|arXiv (Cornell University)|May 25, 2018

Face recognition and analysis参考文献 36被引用数 8

ひとこと要約

本論文は、キャリブレーション済みカメラや既知のシーン幾何学が不要な単一のRGB画像から人の身長を推定する深層学習手法を提案する。顔と身体の特徴からのスケール不変な解剖学的比を活用し、新たに収集した274,964枚の画像から構成されるデータセットで学習することで、5.56cmの平均絶対誤差を達成した。これは、キャリブレーションなしの設定において、先行研究を著しく上回る性能を示している。

ABSTRACT

Recovering a person's height from a single image is important for virtual garment fitting, autonomous driving and surveillance, however, it is also very challenging due to the absence of absolute scale information. We tackle the rarely addressed case, where camera parameters and scene geometry is unknown. To nevertheless resolve the inherent scale ambiguity, we infer height from statistics that are intrinsic to human anatomy and can be estimated from images directly, such as articulated pose, bone length proportions, and facial features. Our contribution is twofold. First, we experiment with different machine learning models to capture the relation between image content and human height. Second, we show that performance is predominantly limited by dataset size and create a new dataset that is three magnitudes larger, by mining explicit height labels and propagating them to additional images through face recognition and assignment consistency. Our evaluation shows that monocular height estimation is possible with a MAE of 5.56cm.

研究の動機と目的

• カメラパラメータやシーン幾何学が未知の状況における単眼身長推定の課題に対処すること。
• 頭部から肩までの比や四肢長比といった内在的な解剖学的比を活用することで、単一画像からの身長推定におけるスケールの曖昧さを克服すること。
• 顔認識と一貫性制約を用いて、大規模な画像コレクションにわたる身長ラベルのマイニングと伝搬を可能にするスケーラブルな手法を開発すること。
• 十分に大きなデータセットで学習した場合、モデル性能は主にデータセットサイズに制限され、アーキテクチャの選択には影響されないことを示すこと。
• 顔の詳細と全身の外観の相対的寄与度を調査し、マルチスケール特徴学習が精度向上に寄与することを示すこと。

提案手法

• 同一人物の画像間でラベルの一貫性を保ちながら、顔認識を用いて少数のアノテート済み画像から大規模な画像コレクションへと明示的な身長ラベルを伝搬する。
• 身体と顔の領域を入力として、画像特徴から身長を回帰するエンドツーエンドの深層ニューラルネットワークを訓練する。
• 小スケールの顔の詳細と大スケールの身体の比を同時に捉えることができるマルチストリームネットワークアーキテクチャを設計する。
• ボディクロップ、顔クロップ、ボディ＋顔の結合入力を用いて特徴の寄与度を評価し、入力モodal を最適化する。
• ポーズ、照明、視点の変化に対して頑健になるよう、データオーグメンテーションおよび正規化技術を適用する。
• IMDB-100K（100K枚の画像を含む）と小さなLab-testセットの2つのデータセットを用いてモデルを訓練および評価し、性能向上要因を特定するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 頭部から肩までの比や四肢長比といった解剖学的比は、単一画像から信頼性高く推定可能であり、カメラキャリブレーションなしに絶対的身長を推定するために利用可能だろうか？
• RQ2 トレーニングデータセットのサイズが、単眼身長推定のための深層学習モデルの性能にどのように影響するか？
• RQ3 顔の特徴と全身の外観の両者を比較した場合、顔の特徴は身長推定にどの程度寄与するのか？また、マルチスケール特徴学習は有益であるか？
• RQ4 顔認識と一貫性制約を用いて、大規模な画像コレクション全体にわたって信頼性のある身長ラベルを自動的に伝搬できるか？
• RQ5 大規模データセットで学習する場合、深層学習アーキテクチャの選択が性能に顕著に影響を与えるだろうか？

主な発見

• 提案手法は、IMDB-100Kデータセットで平均絶対誤差（MAE）5.56cmを達成し、先行する最先端手法を著しく上回る性能を示した。
• データセットが大きくなるほど性能が著しく向上し、現在の性能の限界はモデル容量ではなくデータ不足に起因していることが示唆された。
• 顔と全身の特徴を組み合わせた入力が最も優れた性能を示した。顔のみの入力が、Lab-testセットにおいて全身のみの入力よりも優れていたが、これはポーズのばらつきが大きいことが理由と考えられる。
• 顔と身体の特徴を別々に処理し、その後で統合するマルチスケールの深層ネットワークが優れた結果をもたらした。これは、小スケールの顔の詳細を捉えることの重要性を裏付けた。
• 性別に特化した学習が性能向上に寄与し、特に女性の推定において顕著であった。これは、性別に配慮したモデリングが回帰精度を向上させることを示唆している。
• アブレーションスタディの結果、DeepNetは単純なモデル（Linear, ShallowNet）を上回り、ボディ＋顔の結合入力を持つ完全なモデルが最も低い誤差（IMDB-100Kで6.06cm）を達成した。