[論文レビュー] 3D Reconstruction of Temples in the Special Region of Yogyakarta By Using Close-Range Photogrammetry

Adityo Priyandito Utomo, Canggih Puspo Wibowo|arXiv (Cornell University)|Feb 22, 2017

3D Surveying and Cultural Heritage被引用数 4

ひとこと要約

本論文は、インドネシア・ヨガカラの文化的遺産寺院の3次元再構成を目的とした近距離画像測量パイプラインを提示している。A-KAZEを用いた特徴点検出、LIOPによる特徴記述子、L1RAによるスパarsな点群生成、MVSによる高密度幾何再構成、FSSRおよび大規模テクスチャリングによる表面とテクスチャの最適化を実施した。本手法は、PhotoModeler や PhotoScan といった商業的ツールと同等の再構成品質を達成し、元の写真とのSSIM比較によって検証された。

ABSTRACT

Object reconstruction is one of the main problems in cultural heritage preservation. This problem is due to lack of data in documentation. Thus in this research we presented a method of 3D reconstruction using close-range photogrammetry. We collected 1319 photos from five temples in Yogyakarta. Using A-KAZE algorithm, keypoints of each image were obtained. Then we employed LIOP to create feature descriptor from it. After performing feature matching, L1RA was utilized to create sparse point clouds. In order to generate the geometry shape, MVS was used. Finally, FSSR and Large Scale Texturing were employed to deal with the surface and texture of the object. The quality of the reconstructed 3D model was measured by comparing the 3D images of the model with the original photos utilizing SSIM. The results showed that in terms of quality, our method was on par with other commercial method such as PhotoModeler and PhotoScan.

研究の動機と目的

• ヨガカラの寺院における文化的遺産保存の分野で、詳細な3次元文書化が不足している問題に対処すること。
• オープンソースの画像測量技術を用いた低コストでアクセス可能な3次元再構成パイプラインの開発。
• SSIMを用いて再構成モデルの品質を元の写真と比較して評価すること。
• 複雑な建築構造において、A-KAZEおよびLIOPが特徴抽出に有効であることを実証すること。
• 本手法の性能を、PhotoModeler や PhotoScan などの商業的ソリューションと比較すること。

提案手法

• ヨガカラの5つの寺院から1,319枚の高解像度画像を近距離撮影によって収集した。
• 各画像における特徴点のローカライゼーションを強固にするために、A-KAZEアルゴリズムを用いて特徴点を検出した。
• 検出された特徴点から、ロバストな特徴記述子を生成するためにLIOP（局所強度順序パターン）を用いた。
• スパース点群の構築に効率的かつ正確な特徴マッチングを実現するため、L1RA（L1正則化RANSAC）を採用した。
• スパース点群から高密度3次元幾何を再構成するために、マルチビューステレオ（MVS）を適用した。
• 高精細なテクスチャ付き3次元モデルの生成のために、統合スパース表面再構成（FSSR）および大規模テクスチャリングを活用した。

実験結果

リサーチクエスチョン

• RQ1 低コストでオープンソースの画像測量パイプラインは、複雑な寺院建築物に対して商業的ツールと同等の3次元再構成品質を達成できるか？
• RQ2 A-KAZEおよびLIOPは、複雑な装飾を持つ文化的遺産構造物から安定した特徴を抽出できるか？
• RQ3 L1RAに基づくマッチング戦略は、照明条件やテクスチャの変動に伴う特徴対応のロバスト性をどの程度向上させるか？
• RQ4 MVS再構成は、彫刻や柱といった複雑な建築的特徴において幾何的正確性をどの程度保持できるか？
• RQ5 FSSRおよび大規模テクスチャリングは、視覚的に一貫性があり詳細な表面テクスチャをどの程度効果的に生成できるか？

主な発見

• 本手法は、SSIMによる評価で、PhotoModeler や PhotoScan といった商業的ツールと同等の3次元再構成品質を達成した。
• A-KAZEおよびLIOPの使用により、低テクスチャ領域や複雑な建築的領域でも、ロバストな特徴点検出と記述子生成が可能であった。
• L1RAは特徴マッチングにおける外れ値を効果的に低減し、より正確なスパース点群の構築に貢献した。
• MVSはスパース点群から高密度で幾何的に正確な3次元モデルを効果的に再構成し、微細な建築的細部を保持した。
• FSSRおよび大規模テクスチャリングにより、高品質でシームレスな表面テクスチャが生成され、視覚的リアリズムと忠実度が向上した。
• 全体としてのパイプラインは、最小限の手動介入で複雑な寺院構造物を効果的に再構成できることが示された。