[論文レビュー] BodyDigitizer: An Open Source Photogrammetry-based 3D Body Scanner

Travis Gesslein, Daniel Scherer+1 more|arXiv (Cornell University)|Oct 3, 2017

3D Shape Modeling and Analysis参考文献 16被引用数 4

ひとこと要約

BodyDigitizer は、最大 96 台のラズベリー・パイ・カメラとアクティブLEDプロジェクタを用いたオープンソースの写真測量式 3D ボディスキャナーであり、10 秒未塔で高解像度の全身スキャンを実現する。本システムは詳細なビルド手順とオープンソースの取得ソフトウェアを提供しており、VR や医療、ゲーム分野における低コストで高精細な 3D アバター作成を可能にする。ハードウェア総額は約 9,500 EUR である。

ABSTRACT

With the rising popularity of Augmented and Virtual Reality, there is a need for representing humans as virtual avatars in various application domains ranging from remote telepresence, games to medical applications. Besides explicitly modelling 3D avatars, sensing approaches that create person-specific avatars are becoming popular. However, affordable solutions typically suffer from a low visual quality and professional solution are often too expensive to be deployed in nonprofit projects. We present an open-source project, BodyDigitizer, which aims at providing both build instructions and configuration software for a high-resolution photogrammetry-based 3D body scanner. Our system encompasses up to 96 Rasperry PI cameras, active LED lighting, a sturdy frame construction and open-source configuration software. %We demonstrate the applicability of the body scanner in a nonprofit Mixed Reality health project. The detailed build instruction and software are available at http://www.bodydigitizer.org.

研究の動機と目的

• 非商業的および研究用途向けの低コストで高解像度の 3D ボディスキャンソリューションの不足を解消すること。
• Kinect や RealSense などの単一センサ型深度カメラが抱える低解像度および運動アーチファクトの問題を克服すること。
• Vitronic Vitus など商業スキャナー（50,000 EUR 以上）や PI3DSCAN のような特許ソフトウェアに代わる完全なオープンソースの代替手段を提供すること。
• 複数視点の写真測量とアクティブ照明を用いて、肌の模様のない領域を含む人体の高速かつ高品質な 3D 再構築を可能にすること。
• 商業用 3D 再構築ソフトウェアへの依存を減らし、スキャン、再構築、アバター提供までを完全に自動化したオープンソースのパイプラインを開発すること。

提案手法

• 本スキャナーは、写真測量による再構築に十分な重複度を確保するため、約 13° の角度間隔で配置された 96 台のラズベリー・パイ・カメラモジュールを備えたカスタム木製フレームを採用している。
• 表面の模様のない領域における再構築品質を向上させるために、ランダムドットパターンを投影するアクティブLEDプロジェクタを用いている。
• node.js を基盤とするクライアント・サーバー型の取得ソフトウェアスタックにより、並列 SSH および SCP コマンドを用いて 96 台のラズベリー・パイすべての画像取得を制御している。
• 画像撮影は二段階に分けられる：まずプロジェクタをオフにしてテクスチャのキャプチャを行い、次にドットパターンを投影して 3D 再構築用のデータを取得する。
• 画像は 1 Gb/s のネットワーク経由で中央のPCに転送され、1920×1080 解像度の 96 台分の画像セットを転送するのに 3～6 秒を要する。
• 撮影後処理として、Agisoft PhotoScan を用いて画像セットからテクスチャ付き点群およびメッシュを生成する 3D 再構築が実行されている。

実験結果

リサーチクエスチョン

• RQ1 ラズベリー・パイのカメラやプロジェクタといった汎用ハードウェアを用いて、スケーラブルで低コストかつオープンソースの写真測量式 3D ボディスキャナーを構築可能か？
• RQ2 単一センサ型深度ベースのシステムと比較して、マルチカメラ写真測量セットアップの解像度および運動耐性の面での性能と品質はいかがなものか？
• RQ3 オープンソースのソフトウェアと詳細なビルド手順が、研究機関および非営利分野における高精細 3D ボディスキャンの導入障壁をどの程度低減できるか？
• RQ4 アクティブ照明（投影ドットパターン）を用いることで、模様のないまたはコントラストが低い人体領域における再構築品質が顕著に向上するか？
• RQ5 マルチカメラ写真測量システムにおいて、カメラ数、取得時間、再構築忠実度の間にはどのような実用的トレードオフが生じるか？

主な発見

• 本システムは、商業的代替品と比較して顕著に低コストな約 9,500 EUR のハードウェア総額で、高解像度の 3D ボディスキャンを実現している。
• 96 台すべてのカメラからの画像取得および転送に 3～6 秒を要し、非静止状態のユーザーに対しても対応可能な高速で運動に強いスキャンが可能である。
• チェスボードパターンで配置された 48 台のカメラを使用しても、使用可能な高品質なスキャンが得られるため、解像度とコストの間の柔軟なトレードオフが可能であることが示された。
• ランダムドットパターンを投影するアクティブプロジェクタの使用により、模様のない領域の表面再構築が向上し、幾何学的忠実度が向上した。
• 並列 SSH および SCP を用いた取得ソフトウェアにより、96 台のラズベリー・パイデバイス間での画像取得が成功裏に同期され、信頼性の高いデータ収集が実現した。
• Agisoft PhotoScan を用いた高品質な 3D アバター生成が可能であり、今後の作業では完全にオープンソースの再構築パイプラインへの移行を計画している。