[논문 리뷰] BodyDigitizer: An Open Source Photogrammetry-based 3D Body Scanner

Travis Gesslein, Daniel Scherer외 1명|arXiv (Cornell University)|2017. 10. 03.

3D Shape Modeling and Analysis참고 문헌 16인용 수 4

한 줄 요약

BodyDigitizer는 최대 96대의 라즈베리 파이 카메라와 활성 LED 프로젝터를 사용하여 10초 이내로 고해상도 전체 신체 스캔을 캡처하는 오픈소스, 포토그램메트리 기반 3D 신체 스캐너입니다. 이 시스템은 상세한 빌드 가이드와 오픈소스 캡처 소프트웨어를 제공하여 VR, 의료 및 게임 분야에서 저비용으로 고정밀 3D 아바타를 구축할 수 있도록 합니다. 전체 하드웨어 비용은 약 9,500 유로입니다.

ABSTRACT

With the rising popularity of Augmented and Virtual Reality, there is a need for representing humans as virtual avatars in various application domains ranging from remote telepresence, games to medical applications. Besides explicitly modelling 3D avatars, sensing approaches that create person-specific avatars are becoming popular. However, affordable solutions typically suffer from a low visual quality and professional solution are often too expensive to be deployed in nonprofit projects. We present an open-source project, BodyDigitizer, which aims at providing both build instructions and configuration software for a high-resolution photogrammetry-based 3D body scanner. Our system encompasses up to 96 Rasperry PI cameras, active LED lighting, a sturdy frame construction and open-source configuration software. %We demonstrate the applicability of the body scanner in a nonprofit Mixed Reality health project. The detailed build instruction and software are available at http://www.bodydigitizer.org.

연구 동기 및 목표

• 비상업적 및 연구용 응용 분야에서 저비용으로 고해상도 3D 신체 스캔 솔루션의 부족을 해결하기 위해.
• 기본 단일 센서 깊이 카메라(예: 킷킨, 레얼센스)의 한계를 극복하기 위해, 이는 저해상도와 운동 아티팩트 문제를 야기함.
• 상용 스캐너(예: 비트로닉 비투스, 50,000 유로 이상)나 PI3DSCAN과 같은 프라이버시 소프트웨어 시스템에 대한 완전한 오픈소스 대안을 제공하기 위해.
• 다중 시야 포토그램메트리와 활성 조명을 활용해 인간 신체의 고속, 고품질 3D 재구성 가능하게 하기 위해.
• 상용 3D 재구성 소프트웨어에 대한 의존도를 줄이기 위해 스캔, 재구성, 아바타 제공에 이르는 완전 자동화된 오픈소스 파이프라인 개발하기 위해.

제안 방법

• 스캐너는 포토그램메트릭 재구성에 필요한 충분한 겹침을 확보하기 위해 약 13° 간격으로 96대의 라즈베리 파이 카메라 모듈을 장착한 맞춤형 나무 프레임을 사용합니다.
• 표면 재구성의 정확도를 높이기 위해 무작위 점 패턴을 프로젝터로 투사하여 무늬가 없는 영역의 재구성 성능을 향상시킵니다.
• 노드.지 기반 클라이언트-서버 캡처 소프트웨어 스택이 96대의 모든 라즈베리 파이 장치를 동시에 SSH 및 SCP 명령어를 통해 병렬로 제어하여 이미지 캡처를 조율합니다.
• 이미지 캡처는 두 단계로 이루어집니다: 첫 번째는 투사 없이 텍스처 캡처를 위한 단계, 두 번째는 3D 재구성용으로 점 패턴을 투사하는 단계입니다.
• 이미지 전송은 1 Gb/s 네트워크를 통해 중앙 PC로 이루어지며, 1920×1080 해상도에서 전체 96대 카메라 세트의 전송에 3~6초가 소요됩니다.
• 캡처 후 3D 재구성은 현재 아고소프트 포토스캔을 사용하여 이미지 세트에서 무늬가 있는 점군과 메쉬를 생성합니다.

실험 결과

연구 질문

• RQ1 일반 소비자용 하드웨어인 라즈베리 파이 카메라와 프로젝터를 사용해 확장 가능하고 저비용이며 오픈소스인 포토그램메트리 기반 3D 신체 스캐너를 구축할 수 있는가?
• RQ2 다중 카메라 포토그램메트리 시스템의 성능과 품질이 단일 센서 기반 깊이 기반 시스템에 비해 해상도와 운동 내성 측면에서 어떻게 비교되는가?
• RQ3 오픈소스 소프트웨어와 상세한 빌드 가이드가 연구 및 비영리 기관에서 고정밀 3D 신체 스캔의 접근 장벽을 얼마나 줄일 수 있는가?
• RQ4 활성 조명(프로젝터로 투사된 점 패턴)을 사용할 경우, 텍스처가 없거나 대trast가 낮은 신체 부위의 재구성 품질이 상당히 향상되는가?
• RQ5 다중 카메라 포토그램메트리 시스템에서 카메라 수, 캡처 시간, 재구성 정밀도 사이의 실용적 트레이드오프는 어떠한가?

주요 결과

• 시스템은 전체 하드웨어 비용 약 9,500 유로로 고해상도 3D 신체 스캔을 달성하며, 상용 대안보다 훨씬 낮은 비용입니다.
• 전체 96대 카메라 이미지 캡처 및 전송에 3~6초가 소요되어 비정지 사용자에게도 적합한 빠르고 운동 내성적인 스캔이 가능합니다.
• 체스보드 패턴으로 48대 카메라를 사용해도 여전히 사용 가능한 고품질 스캔을 생성할 수 있어, 해상도 대비 비용 트레이드오프의 유연성을 입증합니다.
• 무작위 점 패턴을 사용한 활성 프로젝터는 텍스처가 없는 영역의 표면 재구성 품질을 향상시켜 기하학적 정밀도를 높입니다.
• 캡처 소프트웨어는 병렬 SSH 및 SCP를 활용해 96대의 라즈베리 파이 장치 간 이미지 캡처를 성공적으로 조율하여 신뢰성 있고 동기화된 데이터 수집을 보장합니다.
• 시스템은 아고소프트 포토스캔를 통해 고품질 3D 아바타 생성이 가능하며, 향후 작업에서 완전히 오픈소스 재구성 파이프라인으로 전환할 계획입니다.