[논문 리뷰] 3D Reconstruction of Deformable Revolving Object under Heavy Hand Interaction

Raoul de Charette, Sotiris Manitsaris|arXiv (Cornell University)|2019. 08. 05.

Optical measurement and interference techniques참고 문헌 30인용 수 4

한 줄 요약

이 논문은 도자기 제작과 같은 무거운 손가락 상호작용 하에서 변형 가능하고 중심 대칭인 물체의 3D 재구성에 대해 입자 에너지 최적화 방법을 제안한다. 하나 이상의 깊이 센서를 사용하여, 중심 대칭성과 시간적 일관성을 활용함으로써 가림과 변형에도 불구하고 견고한 재구성을 달성하며, 평균 재구성 오차 7.60 mm의 최신 기술 수준을 달성한다.

ABSTRACT

We reconstruct 3D deformable object through time, in the context of a live pottery making process where the crafter molds the object. Because the object suffers from heavy hand interaction, and is being deformed, classical techniques cannot be applied. We use particle energy optimization to estimate the object profile and benefit of the object radial symmetry to increase the robustness of the reconstruction to both occlusion and noise. Our method works with an unconstrained scalable setup with one or more depth sensors. We evaluate on our database (released upon publication) on a per-frame and temporal basis and shows it significantly outperforms state-of-the-art achieving 7.60mm average object reconstruction error. Further ablation studies demonstrate the effectiveness of our method.

연구 동기 및 목표

• 도자기 제작과 같은 상호작용 과정에서 알려지지 않은 변형 가능하고 중심 대칭인 물체의 3D 재구성 문제를 해결한다.
• 기존 방법이 알려진 템플릿, 강성 가정 또는 무늬 사전 지식에 의존하여 무거운 가림과 변형 상황에서 실패하는 점을 극복한다.
• 물체의 형태나 무늬에 대한 사전 지식이 없이도 하나 이상의 깊이 센서를 사용한 제약 없는 확장 가능한 환경에서도 견고한 재구성을 가능하게 한다.
• 손가락에 의한 심한 부분적 가림과 모델링 과정 중 동적인 형태 변화에도 불구하고 높은 정확도를 확보한다.
• 중심 대칭성 활용과 입자 기반 최적화를 통해 시간적 일관성과 노이즈 및 센서 변동성에 대한 내성을 확보한다.

제안 방법

• 물체의 중심 대칭성을 활용하여 3D 포인트 클라우드를 2차원 극좌표 (ρ,h) 공간으로 매핑함으로써 문제를 프로파일 추정으로 단순화한다.
• 기하학적 및 외관 기반 에너지 항목의 조합을 최소화하는 입자 에너지 최적화를 극좌표 도메인에 적용하여 물체의 3D 프로파일을 추정한다.
• 극좌표 공간을 이산화하기 위해 중심 대칭 누적기(accumulator)를 사용하며, 정확도와 계산 비용의 균형을 위해 해상도를 조정한다.
• 포인트 클라우드를 정렬하고 통합하여 재구성 파이프라인의 통합 입력으로 사용함으로써 다중 깊이 센서를 통합한다.
• 시간 필터링과 입자 재표본화(가중치 0.8)를 적용하여 프레임 간 안정성 향상과 진동 감소를 도모한다.
• 물체의 중심 대칭성을 활용하여 손가락이 물체의 일부를 가리더라도 부분적 가림과 노이즈에 대한 견고성을 향상시킨다.

실험 결과

연구 질문

• RQ1 모델링에 앞서 물체의 형태나 무늬에 대한 사전 지식이 없이도 무거운 손가락 상호작용 상황에서 알려지지 않은 변형 가능하고 회전 대칭 물체의 3D 재구성을 달성할 수 있는가?
• RQ2 동적인 상호작용 환경에서 부분적 가림과 센서 노이즈 상황에서 중심 대칭성이 재구성의 견고성에 어떻게 기여하는가?
• RQ3 센서 수와 입자 수가 재구성 정확도와 계산 효율성에 미치는 영향은 어떠한가?
• RQ4 중심 대칭 누적기의 해상도가 재구성 정밀도와 처리 시간에 미치는 영향은 무엇인가?
• RQ5 확장 가능하고 제약 없는 깊이 센서 설정이 실시간 상호작용 응용에서 센티미터 이내의 재구성 정확도를 달성할 수 있는가?

주요 결과

• 제안된 방법은 평균 재구성 오차 7.60 mm를 달성하여, 유사 조건에서 10 mm 이상의 오차를 기록하는 최신 기술 수준의 방법보다 뚜렷이 뛰어나다.
• 두 개의 깊이 센서를 사용할 경우 단일 최고 성능 센서 사용 대비 평균 오차를 17.20% 감소시켰다(8.09 mm 대비 9.77 mm), 센서 융합의 이점을 입증한다.
• 입자 수를 100에서 1000으로 늘일 경우 정확도가 19.74% 향상되었지만, 1000개 이상에서의 추가 향상은 미미했으며(5000개 입자 시 4.60% 향상), 효과가 점점 줄어들었다.
• 중심 대칭 누적기 해상도를 64x64로 높일 경우 16x16 대비 평균 오차를 11.39% 감소시켰다(8.43 mm 대비 9.39 mm), 그러나 처리 시간은 5.35배 증가했다.
• 센서 제거나 부분적 가림 상황에서도 메서드는 견고성을 유지하며, 하나의 센서 또는 높은 노이즈 수준에서도 10 mm 이내의 오차를 유지한다.
• 다시 말해, 최대 오차(HD)는 일부 경우에서 여전히 20 mm 이상이었으며, 심한 가림 상황에서는 한계가 있음을 시사한다. 이는 완전한 가림 처리를 위해 시공간 사전 지식이 필요함을 시사한다.