[논문 리뷰] PetroSurf3D - A Dataset for high-resolution 3D Surface Segmentation

Georg Poier, Markus Seidl외 6명|arXiv (Cornell University)|2016. 10. 06.

3D Surveying and Cultural Heritage참고 문헌 29인용 수 5

한 줄 요약

PetroSurf3D는 문화유산 분야에서 3D 표면 분할을 위한 표준화된 벤치마크 데이터셋을 제공하기 위해 공개된 고해상도 3D 표면 데이터셋으로, 정밀한 전문가 주석이 달린 지표를 포함한다. 이 데이터셋은 세밀한 메쉬, 포인트 클라우드, 심도 맵, 오р토사진을 포함하며, 3D 분할 방법의 벤치마킹을 가능하게 한다. 실험 결과, 컨volution 네트워크(CNN)가 전체 정확도에서 랜덤 포레스트보다 뛰어나지만 세밀한 디테일을 놓치는 경향이 있어 향후 연구에 도전적인 과제를 제시한다.

ABSTRACT

The development of powerful 3D scanning hardware and reconstruction algorithms has strongly promoted the generation of 3D surface reconstructions in different domains. An area of special interest for such 3D reconstructions is the cultural heritage domain, where surface reconstructions are generated to digitally preserve historical artifacts. While reconstruction quality nowadays is sufficient in many cases, the robust analysis (e.g. segmentation, matching, and classification) of reconstructed 3D data is still an open topic. In this paper, we target the automatic and interactive segmentation of high-resolution 3D surface reconstructions from the archaeological domain. To foster research in this field, we introduce a fully annotated and publicly available large-scale 3D surface dataset including high-resolution meshes, depth maps and point clouds as a novel benchmark dataset to the community. We provide baseline results for our existing random forest-based approach and for the first time investigate segmentation with convolutional neural networks (CNNs) on the data. Results show that both approaches have complementary strengths and weaknesses and that the provided dataset represents a challenge for future research.

연구 동기 및 목표

• 문화유산 분야에서 표 superfical 분할을 위한 공개된 고해상도 3D 데이터셋이 부족한 문제를 해결하기 위해.
• 표준화된 벤치마크 데이터셋을 통해 3D 표면 분할 알고리즘 간의 객관적 비교를 가능하게 하기 위해.
• 복잡하고 이질적인 표면, 예를 들어 페트로그리프의 경우 3D 기하정보와 2D 텍스처 중 어느 것이 더 효과적인지 평가하기 위해.
• 동일한 데이터셋을 기반으로 랜덤 포레스트와 컨volution 네트워크(CNN)를 사용한 재현 가능한 기준 결과를 제공하기 위해.
• 고대 암각을 자동으로 분석함으로써 문화유산 보존을 지원하기 위해.

제안 방법

• 이탈리아 발카몬바 유네스코 세계유산지역에서 구조광선 스캐닝(SLS)과 구조에서의 운동(SfM)을 사용하여 페트로그리프의 고해상도 3D 스캔을 확보하였다.
• 3D 스캔에서 고정밀도 3D 메쉬, 포인트 클라우드, 오르토사진, 심도 맵을 생성하였으며, 밀리미터 이내의 기하학적 디테일을 유지하였다.
• 모든 심도 맵과 오르토사진에 대해 픽셀 단위의 지표 주석을 생성하였으며, 총 약 2.32억 개의 레이블링된 픽셀을 확보하였다.
• 심도 맵을 사전 처리하기 위해 가우시안 스무딩 버전(σ = 12.5 mm)을 빼서 局부 대비를 향상시키고 RGB 사전 훈련된 CNN과의 호환성을 높였다.
• 심도 맵을 입력으로 사용하여 랜덤 포레스트 분류기와 CNN(_RGB 데이터로 미세조정)를 훈련하여 픽셀 단위의 분할을 수행하였다.
• 일반화 성능 평가를 위해 4겹 교차검증을 적용하였으며, DSC, mIU, PA, HR, FAR와 같은 표준 분할 지표를 사용하였다.

실험 결과

연구 질문

• RQ1 2D 텍스처 중심 접근 방식과 비교할 때, 전체 3D 기하정보의 포함이 분할 성능에 어떻게 기여하는가?
• RQ2 랜덤 포레스트와 컨volution 네트워크(CNN)는 페트로그리프의 고해상도 3D 표면 분할에서 각각 어떤 강점과 약점이 있는가?
• RQ3 심도 맵을 사용할 경우, 복잡하고 이질적인 암석 표면 텍스처에서 분할 모델의 일반화 능력은 어느 정도 향상되는가?
• RQ4 RGB 데이터로 사전 훈련된 CNN을 3D 심도 데이터에 효과적으로 적용할 수 있는가? 이 경우 미세조정 없이도 성능이 유사한가?
• RQ5 최신 기술들은 다양한 침식도와 거칠기 수준을 가진 페트로그리프 표면 유형 간에 얼마나 잘 일반화되는가?

주요 결과

• CNN 기반 방법은 랜덤 포레스트의 0.568보다 높은 0.667의 DSC(Dice Similarity Coefficient)를 기록하여 전체 분할 성능이 뛰어나다는 것을 보여주었다.
• CNN은 랜덤 포레스트의 mIU(0.569)보다 높은 mIU(0.676)를 기록하여 전체 분할 일致성에서 뛰어난 성능을 보였다.
• 랜덤 포레스트는 전경 클래스에 대해 더 높은 F1-스코어를 기록하여 HR(0.779)를 기록했고, CNN은 HR(0.693)를 기록하여 미세하고 얇은 페키드 영역을 더 잘 탐지하는 것으로 나타났다.
• CNN은 더 일관되고 더 둥그스름은 분할 결과를 생성한 반면, 랜덤 포레스트는 더 세밀한 디테일을 포착했지만 더 많은 노이즈와 혼잡함을 포함하였다.
• 심도 정보가 일반화에 필수적임을 입증하였으며, 2D만으로는 이 데이터셋의 복잡성에 대응하기 부족함을 보여주었다.
• 기준 DSC 0.667는 데이터셋이 여전히 도전적인 과제임을 시사하며, 향후 연구를 위한 가치 있는 벤치마크로서의 중요성을 입증한다.