[논문 리뷰] Deep learning universal crater detection using Segment Anything Model (SAM)

Iraklis Giannakis, Anshuman Bhardwaj외 2명|arXiv (Cornell University)|2023. 04. 16.

Astro and Planetary Science인용 수 14

한 줄 요약

이 논문은 Segment Anything Model (SAM)을 사용하여 다양한 행성 데이터에서 분화구 유사 마스크를 분할한 다음 원-타원 필터링 및 타원 피팅을 통해 작업별 학습 없이 분화구 위치와 크기를 추정하는 보편적인 분화구 탐지 파이프라인을 제안한다.

ABSTRACT

Craters are amongst the most important morphological features in planetary exploration. To that extent, detecting, mapping and counting craters is a mainstream process in planetary science, done primarily manually, which is a very laborious and time-consuming process. Recently, machine learning (ML) and computer vision have been successfully applied for both detecting craters and estimating their size. Existing ML approaches for automated crater detection have been trained in specific types of data e.g. digital elevation model (DEM), images and associated metadata for orbiters such as the Lunar Reconnaissance Orbiter Camera (LROC) etc.. Due to that, each of the resulting ML schemes is applicable and reliable only to the type of data used during the training process. Data from different sources, angles and setups can compromise the reliability of these ML schemes. In this paper we present a universal crater detection scheme that is based on the recently proposed Segment Anything Model (SAM) from META AI. SAM is a prompt-able segmentation system with zero-shot generalization to unfamiliar objects and images without the need for additional training. Using SAM we can successfully identify crater-looking objects in any type of data (e,g, raw satellite images Level-1 and 2 products, DEMs etc.) for different setups (e.g. Lunar, Mars) and different capturing angles. Moreover, using shape indexes, we only keep the segmentation masks of crater-like features. These masks are subsequently fitted with an ellipse, recovering both the location and the size/geometry of the detected craters.

연구 동기 및 목표

• 천체와 데이터 유형에 상관없이 작동하는 보편적이고 데이터에 구애받지 않는 분화구 탐지 방법의 동기를 제시한다.
• 미세 조정 없이 프롬프트 가능(segmentation)을 위한 SAM을 활용하여 분화구 유사 특징을 탐지한다.
• 기하학적 모양으로 분할 마스크를 필터링하고 타원을 피팅하여 분화구의 크기와 위치를 회복한다.

제안 방법

• 어떤 입력 행성 영상, DEM 또는 다중 스펙트럼 데이터에서도 SAM을 적용하여 마스크를 분할한다.
• m 및 n 지표와 피팅된 타원을 사용하여 원형도와 타원율로 마스크를 필터링한다.
• 남은 마스크에 Canny 에지 기술을 적용하고 에지에 원/타원을 피팅하여 분화구 기하학(길이 a, 너비 b, 중심)을 추정한다.
• 중복 및 거짓 양성을 제거하기 위한 후처리.

Figure 1: A) Mars Express HRSC natural colour image of Ocrus Patera B) Segmentation of the input image using Segment Anything Model (SAM) [ 21 ] .

실험 결과

연구 질문

• RQ1 SAM이 작업별 훈련 없이도 다양한 데이터 세트에 대해 제로샷의 보편적 분화구 세분화를 제공할 수 있는가?
• RQ2 SAM 마스크에서 원형-타원 모양 지표가 분화구 유사 특징을 분리하는 데 얼마나 효과적인가?
• RQ3 다른 데이터 유형과 천체에 걸친 타원 피팅 후 분화구 중심 및 크기 추정의 정확도는 어느 정도인가?

주요 결과

• SAM은 추가 학습 없이도 다양한 데이터 유형 및 설정에서 분화구를 닮은 객체를 식별할 수 있다.
• 원형-타원 지표로 마스크를 필터링하고 타원 피팅을 수행하면 분화구 중심과 축이 도출되어 크기 추정이 가능하다.
• 사례 연구는 서로 다른 센서와 해상도에 걸친 화성과 달, 포보스 데이터에서 성공적으로 분화구를 탐지함을 보여준다.
• 한계로는 비분화구 원형 특징에서의 거짓 양성 가능성과 지표 임계값 조정에 의존하는 점이 있다.

Figure 2: A) The remaining segmentation masks from Fig. 1 after filtering out the non-circular/elliptical classes using geometrical indexes. B) Canny filter is applied to each one of the remaining masks, and the edges are fitted with circles and ellipses.