[论文解读] 3D Reconstruction of Temples in the Special Region of Yogyakarta By Using Close-Range Photogrammetry

Adityo Priyandito Utomo, Canggih Puspo Wibowo|arXiv (Cornell University)|Feb 22, 2017

3D Surveying and Cultural Heritage被引用 4

一句话总结

本文提出了一种用于印度尼西亚日惹地区文化遗址寺庙近距离摄影测量的3D重建流程，采用A-KAZE进行关键点检测，LIOP进行特征描述子生成，L1RA生成稀疏点云，MVS生成密集几何结构，FSSR结合大尺度纹理映射实现表面与纹理的精细化处理。该方法在SSIM与原始照片对比下，重建质量与PhotoModeler和PhotoScan等商业工具相当。

ABSTRACT

Object reconstruction is one of the main problems in cultural heritage preservation. This problem is due to lack of data in documentation. Thus in this research we presented a method of 3D reconstruction using close-range photogrammetry. We collected 1319 photos from five temples in Yogyakarta. Using A-KAZE algorithm, keypoints of each image were obtained. Then we employed LIOP to create feature descriptor from it. After performing feature matching, L1RA was utilized to create sparse point clouds. In order to generate the geometry shape, MVS was used. Finally, FSSR and Large Scale Texturing were employed to deal with the surface and texture of the object. The quality of the reconstructed 3D model was measured by comparing the 3D images of the model with the original photos utilizing SSIM. The results showed that in terms of quality, our method was on par with other commercial method such as PhotoModeler and PhotoScan.

研究动机与目标

• 解决日惹地区文化遗址寺庙缺乏详细3D记录的问题。
• 开发一种基于开源摄影测量技术的低成本、易访问的3D重建流程。
• 通过SSIM对比原始照片，评估重建模型的质量。
• 证明A-KAZE和LIOP在复杂建筑结构中进行特征提取的可行性。
• 将所提方法与PhotoModeler和PhotoScan等商业解决方案进行性能对比。

提出的方法

• 使用近距离摄影技术从日惹的五座寺庙拍摄了1,319张高分辨率图像。
• 应用A-KAZE算法检测每幅图像中的关键点，以实现鲁棒的特征定位。
• 使用LIOP（局部强度顺序模式）从检测到的关键点生成鲁棒的特征描述子。
• 采用L1RA（L1正则化RANSAC）实现高效且精确的特征匹配，以构建稀疏点云。
• 应用多视角立体匹配（MVS）从稀疏点云重建密集3D几何结构。
• 利用融合稀疏表面重建（FSSR）与大尺度纹理映射，生成高保真度的带纹理3D模型。

实验结果

研究问题

• RQ1 低成本、开源的摄影测量流程能否在复杂寺庙建筑中实现与商业工具相当的3D重建质量？
• RQ2 A-KAZE和LIOP在具有复杂细节的文化遗产结构中提取稳定特征的效率如何？
• RQ3 基于L1RA的匹配策略在光照和纹理条件变化下，对特征对应关系的鲁棒性提升程度如何？
• RQ4 MVS重建在保留复杂建筑特征（如浮雕和柱子）的几何精度方面表现如何？
• RQ5 FSSR与大尺度纹理映射在生成视觉连贯且细节丰富的表面纹理方面性能如何？

主要发现

• 所提方法在SSIM指标下测得的3D重建质量与PhotoModeler和PhotoScan等商业工具相当。
• A-KAZE与LIOP的结合在低纹理区域或复杂建筑区域中仍能实现鲁棒的关键点检测与描述子生成。
• L1RA有效减少了特征匹配中的异常值，有助于构建更精确的稀疏点云。
• MVS成功从稀疏点云中生成了密集且几何准确的3D模型，完整保留了精细的建筑细节。
• FSSR与大尺度纹理映射生成了高质量、无缝的表面纹理，显著提升了视觉真实感与保真度。
• 整体流程在极少人工干预下，展现出对复杂寺庙结构重建的强大性能。