[論文レビュー] Curve-Structure Segmentation from Depth Maps: A CNN-based Approach and Its Application to Exploring Cultural Heritage Objects

Yuhang Lu, Jun Zhou+5 more|arXiv (Cornell University)|Nov 7, 2017

Image Processing and 3D Reconstruction被引用数 7

ひとこと要約

本稿では、考古学的陶器破片のノイジーな深度マップから弱く押された曲線構造をセグメンテーションするための3段階のCNNベース手法を提案する。まず、完全畳み込みネットワーク（FCN）を用いて曲線スケルトンを推定し、その後、密度予測ネットワークでスケルトンを精緻化し、最後に適応的しきい値処理を用いて幅を回復することで、F-measureが0.731に達し、低レベル手法およびベースラインの深層学習手法に比べて、曲線セグメンテーションおよびデザインマッチングタスクで顕著に優れた性能を発揮する。

ABSTRACT

Motivated by the important archaeological application of exploring cultural heritage objects, in this paper we study the challenging problem of automatically segmenting curve structures that are very weakly stamped or carved on an object surface in the form of a highly noisy depth map. Different from most classical low-level image segmentation methods that are known to be very sensitive to the noise and occlusions, we propose a new supervised learning algorithm based on Convolutional Neural Network (CNN) to implicitly learn and utilize more curve geometry and pattern information for addressing this challenging problem. More specifically, we first propose a Fully Convolutional Network (FCN) to estimate the skeleton of curve structures and at each skeleton pixel, a scale value is estimated to reflect the local curve width. Then we propose a dense prediction network to refine the estimated curve skeletons. Based on the estimated scale values, we finally develop an adaptive thresholding algorithm to achieve the final segmentation of curve structures. In the experiment, we validate the performance of the proposed method on a dataset of depth images scanned from unearthed pottery sherds dating to the Woodland period of Southeastern North America.

研究の動機と目的

• 非常にノイジーな深度マップから、弱く押された曲線構造を有する考古学的陶器破片のセグメンテーションの課題に対処すること。
• ノイズや隠蔽に敏感な古典的手法に起因する限界を克服すること。
• 曲線の高レベルな幾何学的およびパターン情報（例：滑らかさ、平行性）を活用して、セグメンテーションのロバスト性を向上させること。
• スケルトン推定と幅回復を分離することで、特徴学習を改善する教師あり深層学習フレームワークを開発すること。
• 正確な曲線構造セグメンテーションを実現し、デザインマッチングや文化的年代学の構築といった考古学的タスクを支援すること。

提案手法

• 曲線構造のスケルトンを予測し、各スケルトン画素における局所的な曲線幅を示すスケール値を推定するために、完全畳み込みネットワーク（FCN）を用いる。
• 初期スケルトンを、FCNが生成したものを精緻化するためのピクセル単位の分類器として、密度予測畳み込みネットワークを適用する。
• 推定されたスケール値を用いて、適応的しきい値処理アルゴリズムを実装し、曲線の完全な幅を回復して最終的なセグメンテーションマスクを生成する。
• ウッドランド期の陶器破片の深度画像データセットからの正例ラベルを用いて、教師ありのエンド・トゥ・エンド訓練を実施する。
• セグメンテーションタスクを3段階に分解する——スケルトン予測、スケルトン精緻化、幅回復——ことで、幾何学的構造と幅推定を分離する。
• ノイズや表面粗さに対してロバストであるよう、スケルトンおよびスケール予測の精度を向上させるために、マルチスケール損失関数を訓練中に使用する。

実験結果

リサーチクエスチョン

• RQ1 深層学習的手法は、考古的遺物の非常にノイジーな深度マップにおけるかすかな曲線構造を効果的にセグメンテーションできるか？
• RQ2 スケルトン推定と幅回復を分離することで、直接エンド・トゥ・エンドのセグメンテーションに比べて、セグメンテーション精度が向上するか？
• RQ3 高レベルな幾何学的およびパターン事前知識（例：滑らかさ、平行性）は、ノイジーでコントラストが低い深度データに対して、どの程度性能を向上させるか？
• RQ4 本手法は、古典的手法（例：DoG）および他の深層学習ベースラインと比較して、曲線セグメンテーションおよびデザインマッチングタスクで優れているか？
• RQ5 セグメンテーション結果は、チャムファーディスタンスを用いたデザインマッチングを含む、下流の考古学的タスクの性能を顕著に向上させられるか？

主な発見

• 提案手法は、陶器破片データセットにおいてF-measureが0.731に達し、DoGなどの古典的手法およびベースラインの深層学習モデルを顕著に上回る。
• アブレーションスタディの結果、密度予測精緻化ステップを除外するとF-measureは0.662に低下し、偽陽性を低減する上でそのステップが極めて重要であることが示された。
• 適応的しきい値処理を固定半径のモルフォロジー的拡張に置き換えると、F-measureは3.5%低下し、スケールに依存する幅回復の優位性が確認された。
• FCNをスケルトンとスケール値の予測から直接セグメンテーションを予測するように変更すると、F-measureは0.665に低下し、3段階設計が性能に不可欠であることが示された。
• 累積マッチング特性（CMC）を用いたデザインマッチングでは、ランク1の正確度が20%、ランク15の正確度が78%を達成し、DoG、FCN、Deep Skeletonベースラインを顕著に上回った。
• CMC曲線は、本手法が全ランクで強固で信頼性のある性能を維持していることを示しており、考古学的パターンマッチング応用において優れた性能を発揮することが確認された。