[논문 리뷰] 3D Reconstruction of Temples in the Special Region of Yogyakarta By Using Close-Range Photogrammetry

Adityo Priyandito Utomo, Canggih Puspo Wibowo|arXiv (Cornell University)|2017. 02. 22.

3D Surveying and Cultural Heritage인용 수 4

한 줄 요약

이 논문은 인도네시아 요가카르타의 문화유산 사당에 대한 근접 영상측량 파이프라인을 제시한다. A-KAZE를 이용한 키포인트 검출, LIOP를 이용한 기능 기술자 생성, L1RA를 통한 희박한 점군 생성, MVS를 통한 조밀한 기하학적 구조 생성, 그리고 FSSR 및 대규모 텍스처링을 통한 표면 및 텍스처 정밀화를 수행한다. 이 방법은 PhotoModeler 및 PhotoScan 등의 상용 도구와 유사한 재구성 품질을 달성하였으며, 원본 사진과의 SSIM 비교를 통해 검증되었다.

ABSTRACT

Object reconstruction is one of the main problems in cultural heritage preservation. This problem is due to lack of data in documentation. Thus in this research we presented a method of 3D reconstruction using close-range photogrammetry. We collected 1319 photos from five temples in Yogyakarta. Using A-KAZE algorithm, keypoints of each image were obtained. Then we employed LIOP to create feature descriptor from it. After performing feature matching, L1RA was utilized to create sparse point clouds. In order to generate the geometry shape, MVS was used. Finally, FSSR and Large Scale Texturing were employed to deal with the surface and texture of the object. The quality of the reconstructed 3D model was measured by comparing the 3D images of the model with the original photos utilizing SSIM. The results showed that in terms of quality, our method was on par with other commercial method such as PhotoModeler and PhotoScan.

연구 동기 및 목표

• 요가카르타의 사당에 대한 문화유산 보존 분야에서의 세밀한 3D 기록 부족 문제를 해결하기 위해.
• 오픈소스 영상측량 기법을 활용한 저비용, 접근 용이한 3D 재구성 파이프라인 개발을 위해.
• 재구성된 모델의 품질을 원본 사진과의 SSIM 비교를 통해 평가하기 위해.
• 복잡한 건축 구조에서 A-KAZE 및 LIOP를 사용한 기능 추출의 타당성을 입증하기 위해.
• 제안된 방법의 성능을 PhotoModeler 및 PhotoScan 등의 상용 솔루션과 비교하기 위해.

제안 방법

• 근접 촬영을 통해 요가카르타의 다섯 개 사당에서 총 1,319장의 고해상도 이미지를 촬영하였다.
• 각 이미지의 키포인트를 안정적으로 국소화하기 위해 A-KAZE 알고리즘을 적용하였다.
• 검출된 키포인트에서 강력한 기능 기술자를 생성하기 위해 LIOP(Local Intensity Order Pattern)를 사용하였다.
• 희박한 점군을 구축하기 위해 효율적이고 정확한 기능 매칭을 위한 L1RA(L1-regularized RANSAC)를 활용하였다.
• 희박한 점군에서 조밀한 3D 기하학적 구조를 재구성하기 위해 다중시점 스테레오(Multi-View Stereo, MVS)를 적용하였다.
• 고정밀한 텍스처가 구현된 3D 모델을 생성하기 위해 융합된 희박한 표면 재구성(Fused Sparse Surface Reconstruction, FSSR)과 대규모 텍스처링을 활용하였다.

실험 결과

연구 질문

• RQ1 저비용, 오픈소스 영상측량 파이프라인이 복잡한 사당 건축물에 대해 상용 도구 수준의 3D 재구성 품질을 달성할 수 있는가?
• RQ2 A-KAZE와 LIOP는 복잡한 세부 구조를 가진 문화유산 구조물에서 안정적인 기능을 추출하는 데 얼마나 효과적인가?
• RQ3 L1RA 기반 매칭 전략은 다양한 조명 조건과 질감 조건에서 기능 대응의 정확성과 견고성을 얼마나 향상시키는가?
• RQ4 MVS 재구성 기법은 조각이나 기둥과 같은 복잡한 건축적 특징에서 기하학적 정확성을 얼마나 잘 유지하는가?
• RQ5 FSSR 및 대규모 텍스처링은 얼마나 잘 시각적으로 일관되고 세밀한 표면 텍스처를 생성하는가?

주요 결과

• 제안된 방법은 SSIM 측정 기준으로 PhotoModeler 및 PhotoScan 등의 상용 도구와 유사한 3D 재구성 품질을 달성하였다.
• A-KAZE와 LIOP의 사용은 낮은 질감 영역이나 복잡한 건축 영역에서도 강력한 키포인트 검출 및 기능 기술자 생성을 가능하게 하였다.
• L1RA는 기능 매칭에서의 이상치를 효과적으로 감소시켜 더 정확한 희박한 점군 생성에 기여하였다.
• MVS는 희박한 점군에서 조밀하고 기하학적으로 정확한 3D 모델을 성공적으로 재구성하였으며, 세밀한 건축적 세부사항을 잘 유지하였다.
• FSSR 및 대규모 텍스처링은 고품질의 균일한 표면 텍스처를 생성하여 시각적 사실감과 정밀도를 향상시켰다.
• 전반적인 파이프라인은 최소한의 수동 조작으로도 복잡한 사당 구조를 효과적으로 재구성하는 데 성공하였다.