[論文レビュー] Im2Fit: Fast 3D Model Fitting and Anthropometrics using Single Consumer Depth Camera and Synthetic Data

Qiaosong Wang, Vignesh Jagadeesh+2 more|arXiv (Cornell University)|Oct 3, 2014

3D Shape Modeling and Analysis参考文献 14被引用数 4

ひとこと要約

Im2Fit は、1台の一般消費者向け深度カメラと合成データを用いて、リアルタイムで高速な3D人体フィッティングおよび人体計測を実現するシステムを提案する。関節周辺の局所的幾何特徴と推定された身体寸法を組み合わせることで、大規模な合成3D人体モデルデータセット内での効率的な最近傍探索を実行し、平均1.9 cmの誤差で正確な完全パラメータ化されたメッシュモデルを取得する。

ABSTRACT

Recent advances in consumer depth sensors have created many opportunities for human body measurement and modeling. Estimation of 3D body shape is particularly useful for fashion e-commerce applications such as virtual try-on or fit personalization. In this paper, we propose a method for capturing accurate human body shape and anthropometrics from a single consumer grade depth sensor. We first generate a large dataset of synthetic 3D human body models using real-world body size distributions. Next, we estimate key body measurements from a single monocular depth image. We combine body measurement estimates with local geometry features around key joint positions to form a robust multi-dimensional feature vector. This allows us to conduct a fast nearest-neighbor search to every sample in the dataset and return the closest one. Compared to existing methods, our approach is able to predict accurate full body parameters from a partial view using measurement parameters learned from the synthetic dataset. Furthermore, our system is capable of generating 3D human mesh models in real-time, which is significantly faster than methods which attempt to model shape and pose deformations. To validate the efficiency and applicability of our system, we collected a dataset that contains frontal and back scans of 83 clothed people with ground truth height and weight. Experiments on real-world dataset show that the proposed method can achieve real-time performance with competing results achieving an average error of 1.9 cm in estimated measurements.

研究の動機と目的

• 1台の一般消費者向け深度カメラのみを用いて、正確な3D人体モデリングおよび人体計測を可能にすること。
• 複数カメラレンジやLiDARのような高価で大型で複雑なシステムの限界を克服すること。
• 実世界の人体データセットを収集する際のコストとプライバシー懸念を低減するため、合成データを用いること。
• バーチャルトライアルやECでの服のサイズ提案といった実用的応用を想定し、リアルタイム性能を達成すること。
• リビングルームのような日常的な環境でも導入可能なシンプルで使いやすいシステムを提供すること。

提案手法

• 人種・性別にわたる多様な年齢層をカバーする、国勢調査およびNHANESデータからの実世界の身体サイズ分布を用いて、合成3D人体モデルを生成する。
• OpenNI からの関節位置データを用いて、1枚の正面深度画像から主要な身体寸法（例：身長、体重）を推定する。
• 主な関節位置（例：肩、股関節）周辺の局所的幾何特徴を抽出し、寸法推定を補完する。
• 身体寸法と局所的幾何特徴を組み合わせた多次元特徴ベクトルを作成し、頑健な表現を実現する。
• 全合成データセット上で高速な最近傍探索を実行し、最も類似した3D人体モデルを検索する。
• 検索されたモデルは完全にリギングされ、パラメータ化されており、リアルタイムでの3Dメッシュ生成、身体部品のラベリング、リアルなしわを再現した衣類フィッティングが可能になる。

実験結果

リサーチクエスチョン

• RQ1 複数視点や高解像度スキャンを必要とせず、1台の一般消費者向け深度カメラで、主要な人体計測寸法を正確に推定できるか？
• RQ2 実人口分布に基づいて学習された合成3D人体モデルは、実世界の身体形状に効果的に一般化され、正確なフィッティングを実現できるか？
• RQ3 大規模な合成データセット上で最近傍探索を実行することで、学習ベースや最適化ベースの手法を上回る速度と精度を達成できるか？
• RQ4 単純な幾何特徴と事前計算済みデータセットのみを用いて、リアルタイムでの3D人体メッシュ生成と衣類フィッティングを実現できるか？
• RQ5 既存手法と比較して、本システムの測定精度と計算効率はどのように評価できるか？

主な発見

• 本システムはリアルタイム性能を達成し、1台の深度カメラのみを用いて、迅速な3Dメッシュ生成とフィッティングを実現する。
• 83名の着衣した実世界の被験者を含むデータセットにおいて、身長と体重の真値が与えられた状況で、推定寸法の平均誤差は1.9 cmであった。
• 合成データと特徴ベースのマッチングを活用することで、部分的な正面視点からのみでも、正確な3D人体モデルを効果的に検索できる。
• 合成データの使用により、プライバシー的制約やデータ収集の制限がなく、身体形状の多様なバリエーションを広くカバーできる。
• 繰り返し最適化による形状・ポーズ変形のモデリングを必要とする手法よりも、本手法は著しく高速である。
• リアルなアニメーション付き3Dアバターの生成を可能にすることで、バーチャルトライアルや服のサイズ提案といった実用的応用をサポートする。