[论文解读] BodyDigitizer: An Open Source Photogrammetry-based 3D Body Scanner

Travis Gesslein, Daniel Scherer+1 more|arXiv (Cornell University)|Oct 3, 2017

3D Shape Modeling and Analysis参考文献 16被引用 4

一句话总结

BodyDigitizer 是一款开源的、基于摄影测量法的3D人体扫描仪，使用多达96个树莓派摄像头和主动LED投射器，在10秒内完成高分辨率全身扫描。该系统提供详细的制作指南和开源采集软件，使VR、医疗和游戏应用中能够以约9,500欧元的总硬件成本实现经济实惠、高保真的3D虚拟形象创建。

ABSTRACT

With the rising popularity of Augmented and Virtual Reality, there is a need for representing humans as virtual avatars in various application domains ranging from remote telepresence, games to medical applications. Besides explicitly modelling 3D avatars, sensing approaches that create person-specific avatars are becoming popular. However, affordable solutions typically suffer from a low visual quality and professional solution are often too expensive to be deployed in nonprofit projects. We present an open-source project, BodyDigitizer, which aims at providing both build instructions and configuration software for a high-resolution photogrammetry-based 3D body scanner. Our system encompasses up to 96 Rasperry PI cameras, active LED lighting, a sturdy frame construction and open-source configuration software. %We demonstrate the applicability of the body scanner in a nonprofit Mixed Reality health project. The detailed build instruction and software are available at http://www.bodydigitizer.org.

研究动机与目标

• 解决非商业和科研应用中缺乏经济实惠、高分辨率3D人体扫描方案的问题。
• 克服单传感器深度相机（如Kinect、RealSense）存在的分辨率低和运动伪影等问题。
• 为商业扫描仪（如Vitronic Vitus，价格超过50,000欧元）和专有系统（如PI3DSCAN）提供完全开源的替代方案。
• 通过多视角摄影测量法结合主动照明，实现实时、高质量的人体3D重建，尤其适用于无纹理区域。
• 通过开发完全自动化、开源的扫描、重建和虚拟形象生成流水线，减少对商业3D重建软件的依赖。

提出的方法

• 扫描仪采用定制木制框架，将96个树莓派摄像头模块以约13°的角间隔安装，确保足够的重叠度以支持摄影测量重建。
• 使用带有随机点阵图案的主动LED投射器，以增强人体表面无纹理区域的重建效果。
• 基于node.js的客户端-服务器采集软件堆栈，通过并行SSH和SCP命令协调所有96个树莓派的图像采集。
• 图像采集分为两个阶段：首先在无投射状态下进行（用于纹理捕捉），随后投射点阵图案进行（用于3D重建）。
• 图像通过1 Gb/s网络传输至中央PC，96台相机在1920×1080分辨率下完成传输耗时3–6秒。
• 捕获后，3D重建目前使用Agisoft PhotoScan完成，该软件可从图像集生成带纹理的点云和网格。

实验结果

研究问题

• RQ1 能否使用树莓派摄像头和投射器等通用硬件，构建一个可扩展、低成本、开源的摄影测量法3D人体扫描仪？
• RQ2 在分辨率和抗运动干扰能力方面，多摄像头摄影测量系统与单传感器深度系统相比表现如何？
• RQ3 开源软件和详细的制作指南在多大程度上能降低科研和非营利机构在高保真3D人体扫描方面的进入门槛？
• RQ4 使用主动照明（投射点阵图案）是否能显著提升无纹理或低对比度人体区域的重建质量？
• RQ5 在多摄像头摄影测量系统中，摄像头数量、采集时间与重建保真度之间的实际权衡关系是什么？

主要发现

• 该系统以约9,500欧元的总硬件成本实现了高分辨率3D人体扫描，远低于商业替代方案。
• 96台摄像头的完整图像采集与传输耗时3–6秒，支持快速、抗运动干扰的扫描，适用于非静止用户。
• 使用48台摄像头（以国际象棋棋盘图案排列）仍可生成可用且高质量的扫描结果，证明了在分辨率与成本之间具有灵活的权衡能力。
• 使用带有随机点阵图案的主动投射器可显著改善无纹理区域的表面重建，提升几何保真度。
• 采集软件成功通过并行SSH和SCP命令协调96台树莓派设备的图像采集，确保了可靠且同步的数据采集。
• 该系统可通过Agisoft PhotoScan实现高质量的3D虚拟形象生成，未来工作计划转向完全开源的重建流水线。