[논문 리뷰] Towards Building an RGBD-M Scanner

Zhe Wu, Sai-Kit Yeung외 1명|arXiv (Cornell University)|2016. 03. 12.

3D Surveying and Cultural Heritage참고 문헌 17인용 수 4

한 줄 요약

이 논문은 수정된 Kinect, 적외선 카메라, 적외선 LED를 사용하여 3차원 환경 기하학과 반사율을 동시에 캡처하는 이식성 있고 사용자 친화적인 RGBD-M 스캐너를 제안한다. KinectFusion을 활용한 재구성과 새로운 BRDF 분할 전파 알고리즘을 통해 흩어진, 노이즈가 많은 BRDF 관측치를 그룹화함으로써, 대규모 실내 환경에서 정확한 재료 반사율 추정이 가능해졌으며, 실제 환경에서의 현실적인 조명 재현과 반사광 강조 효과를 통해 성능을 입증하였다.

ABSTRACT

We present a portable device to capture both shape and reflectance of an indoor scene. Consisting of a Kinect, an IR camera and several IR LEDs, our device allows the user to acquire data in a similar way as he/she scans with a single Kinect. Scene geometry is reconstructed by KinectFusion. To estimate reflectance from incomplete and noisy observations, 3D vertices of the same material are identified by our material segmentation propagation algorithm. Then BRDF observations at these vertices are merged into a more complete and accurate BRDF for the material. Effectiveness of our device is demonstrated by quality results on real-world scenes.

연구 동기 및 목표

• 제한된 환경과 이동 가능한 소형 물체에 국한된 기존 시스템의 한계를 극복하고, 제어된 환경이 필요 없고 대규모 실내 환경의 3차원 기하학과 반사율을 캡처할 수 있는 이식성 있고 사용이 간편한 장치를 개발하는 것.
• 통제되지 않은 실제 환경에서 획득한 흩어진, 노이즈가 많은, 불완전한 BRDF 관측치로부터 완전하고 정확한 BRDF를 추정하는 도전 과제를 해결하는 것.
• 데이터가 손상되거나 불완전한 경우에도 그들의 BRDF 관측치만을 기반으로 3차원 정점의 자동 재료 분할을 가능하게 하는 것.
• 복잡한 실내 환경에 대해 실시간으로 사용자 주도적인 외관 캡처를 가능하게 하고, 사진 수준의 렌더링 성능를 구현할 수 있는지의 타당성을 입증하는 것.

제안 방법

• 특수 회로를 통해 동기화된 수정된 Kinect(ASUS Xtion Pro Live), 적외선 카메라, 다수의 적외선 LED를 조합하여 활성적 인프라레드 조명을 가능하게 하는 시스템.
• 깊이 영상에서 KinectFusion을 사용해 실시간으로 3차원 환경 기하학을 재구성하고, 적외선 조명 하에 투사된 적외선 영상으로부터 각 정점의 색상과 반사율을 추정한다.
• 공간적 근접성과 BRDF 유사성을 활용하여, 흩어진, 노이즈가 많은 관측치가 있는 경우에도 동일한 재료의 3차원 정점을 효과적으로 그룹화하는 BRDF 분할 전파 알고리즘을 적용한다.
• 반사율 대칭성에서 유도된 이변량 BRDF 모델을 사용하여 그룹화된 정점의 BRDF 관측치를 하나의 더 완전하고 정확한 BRDF로 융합한다.
• 분류되지 않은 정점은 렌더링을 위해 라운드 반사율 BRDF 모델로 할당하여 시각적 일관성을 확보한다.
• 전체 파ip라인은 오프라인 처리를 위해 설계되었으며, 향후 작업으로는 스캐닝 중 사용자를 안내하기 위한 실시간 피드백을 목표로 한다.

실험 결과

연구 질문

• RQ1 제어된 환경이나 특수한 턴테이블 설정이 필요 없이, 이식성 있고 저비용 장치가 대규모 실내 환경의 3차원 기하학과 반사율을 캡처할 수 있는가?
• RQ2 통제되지 않은 실제 환경 조건에서 흩어진, 노이즈가 많은, 불완전한 관측치로부터 BRDF를 정확히 추정할 수 있는가?
• RQ3 데이터가 손상되거나 불완전한 경우에도 BRDF 관측치만을 기반으로 효과적으로 3차원 정점의 재료 분할 알고리즘을 적용할 수 있는가?
• RQ4 제안된 시스템이 조명 재현 시뮬레이션에서 실제적인 조명 효과, 예를 들어 반사광 강조를 어느 정도 재현할 수 있는가?

주요 결과

• KinectFusion을 활용한 시스템은 데이터 캡처 중 실시간 성능를 달성하며 정확한 기하학적 재구성을 성공적으로 수행하였다.
• BRDF 분할 전파 알고리즘은 'Gymball' 시나리오에서 6개의 재료 그룹으로 3차원 정점을 효과적으로 그룹화하였으며, 세 개의 주요 그룹은 고무, 벽, 보드와 같은 주요 재료에 해당하였다.
• 시스템은 볼과 browm 플라스틱 냄비에 반사광 강조를 캡처하고 렌더링하여 방향성 조명 하에서의 반사율 추정 성공을 입증하였다.
• 'Spiderman' 시나리오에서는 13개의 재료 그룹을 식별하였으며, 그 중 8개의 주요 그룹은 Pumpking, 스파이더맨의 빨간색 및 파란색 영역, 지지 구조물 등 주요 시나리오 요소에 해당하였다.
• 파란 플라스틱 냄비에 반사광 강조를 캡처하지 못한 것은 정점 샘플링 밀도가 부족하여 발생한 것으로, 흩어진 관측치를 다루는 데서의 한계를 시사하였다.
• 부분적인 BRDF 데이터만 존재할 경우 BRDF 렌더링에서 원형 왜곡과 같은 재구성 아티팩트가 발생하였으며, 이는 개선된 보간 전략의 필요성을 강조하였다.