[논문 리뷰] Curve-Structure Segmentation from Depth Maps: A CNN-based Approach and Its Application to Exploring Cultural Heritage Objects

Yuhang Lu, Jun Zhou외 5명|arXiv (Cornell University)|2017. 11. 07.

Image Processing and 3D Reconstruction인용 수 7

한 줄 요약

이 논문은 고고학적 유물 조각의 노이즈가 많은 깊이 맵에서 약한 스탬프 처리된 곡선 구조를 분할하기 위해 세 단계로 구성된 CNN 기반 방법을 제안한다. 먼저 완전 컨volution 네트워크(FCN)를 사용해 곡선 스켈레톤을 추정하고, 밀도 높은 예측 네트워크를 통해 이를 정제한 후, 적응형 임계값 처리를 통해 폭을 복원함으로써, 곡선 분할 및 디자인 매칭 작업에서 기존의 저수준 및 베이스라인 딥 러닝 방법보다 뚜렷이 뛰어난 F-측정값 0.731을 달성한다.

ABSTRACT

Motivated by the important archaeological application of exploring cultural heritage objects, in this paper we study the challenging problem of automatically segmenting curve structures that are very weakly stamped or carved on an object surface in the form of a highly noisy depth map. Different from most classical low-level image segmentation methods that are known to be very sensitive to the noise and occlusions, we propose a new supervised learning algorithm based on Convolutional Neural Network (CNN) to implicitly learn and utilize more curve geometry and pattern information for addressing this challenging problem. More specifically, we first propose a Fully Convolutional Network (FCN) to estimate the skeleton of curve structures and at each skeleton pixel, a scale value is estimated to reflect the local curve width. Then we propose a dense prediction network to refine the estimated curve skeletons. Based on the estimated scale values, we finally develop an adaptive thresholding algorithm to achieve the final segmentation of curve structures. In the experiment, we validate the performance of the proposed method on a dataset of depth images scanned from unearthed pottery sherds dating to the Woodland period of Southeastern North America.

연구 동기 및 목표

• 매우 노이즈가 많은 깊이 맵에서 고고학적 유물 조각의 흐린, 약한 스탬프 처리된 곡선 구조를 분할하는 데 도전하는 것.
• 노이즈와 가림 현상에 민감한 전통적인 저수준 영상 분할 방법의 한계를 극복하는 것.
• 곡선의 고수준 기하학적 및 패턴 정보(예: 부드러움, 평행성 등)를 활용해 분할의 강건성을 향상시키는 것.
• 스켈레톤 추정과 폭 복원을 분리함으로써 기능 학습을 향상시키는 감독 기반 딥 러닝 프레임워크를 개발하는 것.
• 정확한 곡선 구조 분할을 가능하게 하여 디자인 매칭 및 문화 역사 체계 수립과 같은 고고학적 작업을 지원하는 것.

제안 방법

• 곡선 구조의 스켈레톤을 예측하고, 각 스켈레톤 픽셀에서 국소 곡선 폭을 나타내는 척도 값을 추정하기 위해 완전 컨볼루션 네트워크(FCN)를 사용한다.
• 초기 스켈레톤을 FCN가 생성한 후, 밀도 높은 예측 컨볼루션 네트워크를 사용해 픽셀 단위 분류기로 정제한다.
• 추정된 척도 값을 사용해 곡선의 전체 폭을 복원하고 최종 분할 마스크를 생성하기 위해 적응형 임계값 처리 알고리즘을 구현한다.
• 워드랜드 시대 유물 조각의 깊이 이미지 데이터셋에서의 진짜 분할 레이블을 사용해 감독 방식으로 모델을 엔드 투 엔드로 훈련시킨다.
• 기하학적 구조와 폭 추정을 분리하기 위해 분할 작업을 세 단계—스켈레톤 예측, 스켈레톤 정제, 폭 복원—으로 분해한다.
• 노이즈와 표면 거칠기에 강건성을 향상시키기 위해 스켈레톤 및 척도 예측 정확도를 향상시키기 위해 다중 척도 손실 함수를 훈련 중에 사용한다.

실험 결과

연구 질문

• RQ1 딥 러닝 접근 방식이 고고학적 유물의 매우 노이즈가 많은 깊이 맵에서 흐린 곡선 구조를 효과적으로 분할할 수 있는가?
• RQ2 스켈레톤 추정과 폭 복원을 분리함으로써, 직접 엔드 투 엔드 분할과 비교해 분할 정확도가 향상되는가?
• RQ3 고수준 기하학적 및 패턴 사전 지식(예: 부드러움, 평행성 등)이 노이즈가 많고 대trast가 낮은 깊이 데이터에서 성능 향상에 어느 정도 기여하는가?
• RQ4 기본적인 저수준 방법(DoG 등)과 다른 딥 러닝 베이스라인과 비교해 본다면, 제안된 방법은 곡선 분할 및 디자인 매칭 작업에서 어떻게 성능을 내는가?
• RQ5 분할 결과가 Chamfer 거리 기반으로 사용되는 후속 고고학적 작업, 예를 들어 디자인 매칭 성능을 뚜렷이 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 유물 조각 데이터셋에서 F-측정값 0.731을 달성했으며, DoG와 같은 전통적인 저수준 방법 및 베이스라인 딥 러닝 모델보다 뛰어난 성능을 보였다.
• 제거 실험 결과, 밀도 높은 예측 정제 단계를 제거할 경우 F-측정값이 0.662로 감소하여 이 단계가 임의의 양성 결과를 줄이는 데 핵심적인 역할을 함을 입증했다.
• 고정 반경의 형태학적 팽창으로 적응형 임계값 처리를 대체할 경우 F-측정값이 3.5% 감소하여 척도 인식 폭 복원 방식의 우수성을 확인했다.
• FCN를 스켈레톤과 척도 값을 예측하는 대신 직접 분할을 예측하도록 수정할 경우 F-측정값이 0.665로 감소하여 세 단계 설계가 성능 향상에 필수적임을 나타냈다.
• Cumulative Matching Characteristics(CMC)를 사용한 디자인 매칭에서, 본 방법은 랭크-1 정확도 20%와 랭크-15 정확도 78%를 달성했으며, DoG, FCN 및 Deep Skeleton 베이스라인보다 뚜렷이 뛰어난 성능을 보였다.
• CMC 곡선는 제안된 방법이 모든 순위에서 강력하고 안정된 성능을 유지함을 보여주어 고고학적 패턴 매칭 응용 분야에서의 강건성과 신뢰성을 확인했다.