[論文レビュー] PetroSurf3D - A Dataset for high-resolution 3D Surface Segmentation

Georg Poier, Markus Seidl+6 more|arXiv (Cornell University)|Oct 6, 2016

3D Surveying and Cultural Heritage参考文献 29被引用数 5

ひとこと要約

PetroSurf3D は、文化的遺産分野における 3D 表面セグメンテーションのベンチマーク化を目的として、公開可能で高解像度の 3D 表面データセットを提供する。このデータセットには、正確な専門家アノテーションによる真値が付与されており、詳細なメッシュ、点群、深度マップ、オルソ写真が含まれる。3D セグメンテーション手法のベンチマーク化を可能にする。実験の結果、畳み込みニューラルネットワーク（CNN）は全体の正確性においてランダムフォレストを上回るが、細かなディテールを逃す傾向にあり、今後の研究にとって挑戦的であることが示された。

ABSTRACT

The development of powerful 3D scanning hardware and reconstruction algorithms has strongly promoted the generation of 3D surface reconstructions in different domains. An area of special interest for such 3D reconstructions is the cultural heritage domain, where surface reconstructions are generated to digitally preserve historical artifacts. While reconstruction quality nowadays is sufficient in many cases, the robust analysis (e.g. segmentation, matching, and classification) of reconstructed 3D data is still an open topic. In this paper, we target the automatic and interactive segmentation of high-resolution 3D surface reconstructions from the archaeological domain. To foster research in this field, we introduce a fully annotated and publicly available large-scale 3D surface dataset including high-resolution meshes, depth maps and point clouds as a novel benchmark dataset to the community. We provide baseline results for our existing random forest-based approach and for the first time investigate segmentation with convolutional neural networks (CNNs) on the data. Results show that both approaches have complementary strengths and weaknesses and that the provided dataset represents a challenge for future research.

研究の動機と目的

• 文化的遺産分野における、表面セグメンテーションのための公開可能で高解像度の 3D データセットと、正確なアノテーションの不足に対処すること。
• 標準化されたベンチマークデータセットを用いて、3D 表面セグメンテーションアルゴリズムの客観的比較を可能にすること。
• 3D の幾何的情報と 2D のテクスチャの相対的な有効性を、ペトログリフのような複雑で不均一な表面のセグメンテーションにおいて評価すること。
• 同じデータセット上でランダムフォレストと畳み込みニューラルネットワーク（CNN）を用いた再現可能なベースライン結果を提供すること。
• 古代の岩彫りの自動分析を可能にすることで、文化的遺産の保存を支援すること。

提案手法

• イタリアのヴアルカモニャ UNESCO 世界遺産地で、構造化光スキャン（SLS）および構造からモーション（SfM）を用いて、ペトログリフの高解像度 3D スキャンを取得した。
• 3D スキャンから高忠実度の 3D メッシュ、点群、オルソ写真、深度マップを生成し、0.5 mm 未満の幾何的詳細を保持した。
• すべての深度マップおよびオルソ写真に対してピクセル単位の真値アノテーションを実施し、合計で約 2.32 億ピクセルのラベルが付与された。
• 深度マップを事前に処理し、ガウス平滑化（σ = 12.5 mm）されたバージョンを差し引くことで、局所的なコントラストを向上させ、RGB 事前学習済み CNN との互換性を高めた。
• 深度マップを入力として用い、ランダムフォレスト分類器と CNN（RGB データで微調整済み）をトレーニングし、ピクセル単位のセグメンテーションを実施した。
• 一般化性能の評価のため 4 折り交差検証を実施し、DSC、mIU、PA、HR、FAR といった標準的なセグメンテーション指標を用いた。

実験結果

リサーチクエスチョン

• RQ1 2D テクスチャのみを用いる手法と比較して、完全な 3D 幾何的情報がセグメンテーション性能にどのように寄与するか？
• RQ2 ランダムフォレストと畳み込みニューラルネットワーク（CNN）の相対的な強みと弱みは、ペトログリフの高解像度 3D 表面セグメンテーションにおいてどのように現れるか？
• RQ3 深度マップを用いることで、複雑で不均一な岩表面テクスチャにおけるセグメンテーションモデルの一般化能力はどの程度向上するか？
• RQ4 RGB データで事前学習した CNN を、微調整なしで 3D 深度データに効果的に適応できるか？
• RQ5 最先端の手法は、摩耗具合や粗さに差がある多様なペトログリフ表面タイプに、どの程度一般化できるか？

主な発見

• CNN を用いた手法は、ランダムフォレストの 0.568 よりも高い DSC（0.667）を達成し、全体的なセグメンテーション性能が優れていることを示した。
• CNN は mIU（0.676）を達成し、ランダムフォレストの mIU（0.569）を上回り、より一貫性のある全体的なセグメンテーション性能を示した。
• ランダムフォレストは、フォアグラウンドクラスの F1 スコア（HR = 0.779）を CNN（HR = 0.693）より高く達成し、細かく細いピクチャリング領域の検出に優れていることを示した。
• CNN は一貫性のあるが粗いセグメンテーションを生成した一方、ランダムフォレストはより細かいディテールを捉えたが、ノイズやごみが多く混入していた。
• 結果から、一般化の観点で深度情報が不可欠であることが示された。2D 僅どのセグメンテーションでは、このデータセットの複雑さに対応できないことが明らかになった。
• ベースラインの DSC が 0.667 であることは、このデータセットが今後の研究にとって依然として大きな挑戦であることを示しており、ベンチマークとしての価値が高まっている。