[논문 리뷰] Prompt-Based Segmentation at Multiple Resolutions and Lighting Conditions using Segment Anything Model 2

Osher Rafaeli, Tal Svoray외 2명|arXiv (Cornell University)|2024. 08. 13.

Color perception and designPsychology인용 수 3

한 줄 요약

이 연구는 다양한 해상도(0.15 m 및 0.25 m)와 조명 조건에서 항공 영상에서 태양광 패널 검출을 위해 프롬프트 기반 세분화 기술인 Segment Anything Model 2(SAM 2)와 전통적인 CNN(Eff-UNet)을 평가한다. SAM 2는 열악한 조명 조건에서 SAM을 능가하며, YOLOv9가 생성한 경계 상자 프롬프트가 인간이 클릭한 점보다 정확도를 크게 향상시킨다. 고해상도 데이터에서는 프롬프트 편향으로 인한 임의의 양성 결과가 줄어들어 Eff-UNet이 SAM 2를 略로 뛰어넘는다.

ABSTRACT

This paper provides insights on the effectiveness of the zero shot, prompt-based Segment Anything Model (SAM) and its updated versions, SAM 2 and SAM 2.1, along with the non-promptable conventional neural network (CNN), for segmenting solar panels in RGB aerial remote sensing imagery. The study evaluates these models across diverse lighting conditions, spatial resolutions, and prompt strategies. SAM 2 showed slight improvements over SAM, while SAM 2.1 demonstrated notable improvements, particularly in sub-optimal lighting and low resolution conditions. SAM models, when prompted by user-defined boxes, outperformed CNN in all scenarios; in particular, user-box prompts were found crucial for achieving reasonable performance in low resolution data. Additionally, under high resolution, YOLOv9 automatic prompting outperformed user-points prompting by providing reliable prompts to SAM. Under low resolution, SAM 2.1 prompted by user points showed similar performance to SAM 2.1 prompted by YOLOv9, highlighting its zero shot improvements with a single click. In high resolution with optimal lighting imagery, Eff-UNet outperformed SAMs prompted by YOLOv9, while under sub-optimal lighting conditions, Eff-UNet, and SAM 2.1 prompted by YOLOv9, had similar performance. However, SAM is more resource-intensive, and despite improved inference time of SAM 2.1, Eff-UNet is more suitable for automatic segmentation in high resolution data. This research details strengths and limitations of each model and outlines the robustness of user-prompted image segmentation models.

연구 동기 및 목표

• 다양한 원격 감지 영상 조건에서 프롬프트 기반 SAM 2와 전통적인 CNN(Eff-UNet)이 태양광 패널 세분화 성능을 어떻게 평가하는가.
• 사용자가 만든 점, 사용자가 만든 경계 상자, YOLOv9가 생성한 상자 등 다양한 프롬프트 전략이 SAM 및 SAM 2의 세분화 정확도에 미치는 영향을 평가하는 것.
• 저해상도 및 고해상도, 최적 및 열악한 조명 조건에서 완전 자동(Eff-UNet) 대 비자동(SAM/SAM 2에 인간 프롬프트 사용) 접근 방식을 비교하는 것.
• 특히 해상도 및 조명 변화에 대한 강건성 측면에서, 각 모델이 일관되지 않은 원격 감지 데이터를 다룰 때의 강점과 한계를 규명하는 것.

제안 방법

• 연구는 이스라엘 베어셰바에서 확보한 3개의 항공 영상 데이터셋(2015년, 2017년, 2022년)을 사용하며, 공간 해상도는 0.25 m(저해상도) 및 0.15 m(고해상도)이며, 다양한 조명 조건을 포함한다.
• 평가된 세분화 모델은 다음과 같다: (1) SAM 2 및 SAM(프롬프트 기반), (2) Eff-UNet(완전 자동 CNN), (3) YOLOv9 객체 탐지 상자로 프롬프트된 SAM/SAM 2.
• 시험한 프롬프트 전략: 사용자가 클릭한 점, 사용자가 그린 경계 상자, YOLOv9가 생성한 경계 상자(SAM 및 SAM 2에 적용).
• 성능 평가 지표는 IoU, F1-score, 정밀도, 재현도, 정확도이며, 모든 데이터셋에서 3000개의 레이블링된 태양광 패널을 기반으로 한다.
• YOLOv9 모델은 SAM 및 SAM 2에 대한 프롬프트로 객체 제안을 생성하여 종단 간 자동 프롬프트 생성을 가능하게 한다.
• Eff-UNet는 복합 스케일링된 EfficientNet 인코더와 U-Net 디코더를 사용하며, ImageNet 사전 학습된 특징을 기반으로 종단 간 엔드투엔드 학습을 수행한다.

실험 결과

연구 질문

• RQ1 SAM 2는 열악한 조명 및 저해상도 조건에서 SAM보다 태양광 패널 세분화 성능이 어떻게 다른가?
• RQ2 YOLOv9가 생성한 경계 상자 프롬프트가 SAM 및 SAM 2에서 인간이 클릭한 점 프롬프트보다 태양광 패널 세분화 정확도에서 뛰어나게 되는가?
• RQ3 다양한 영상 해상도 및 조명 조건에서 완전 자동 세분화인 Eff-UNet의 성능은 프롬프트 기반 SAM 및 SAM 2와 어떻게 비교되는가?
• RQ4 프롬프트 품질과 모델 아키텍처는 원격 감지 영상 세분화에서 임의의 양성 결과 비율에 어떤 영향을 미치는가?

주요 결과

• SAM 2는 사용자 상자 프롬프트를 사용할 경우 IoU 0.75, F1-score 0.85를 기록하였으며, 열악한 조명 조건에서 SAM(이상: IoU 0.74, F1: 0.84)보다 유의미하게 뛰어나다.
• 점 프롬프트를 사용했을 때도 SAM 2는 SAM을 능가하여 IoU 0.51, F1-score 0.62를 기록한 반면, SAM은 각각 0.49와 0.61을 기록하였다.
• YOLOv9가 생성한 상자 프롬프트는 인간이 클릭한 점 프롬프트보다 더 높은 정확도를 보였으며, SAM 2는 IoU 0.54, F1-score 0.63을 기록한 반면, 점 프롬프트는 각각 0.49와 0.61이었다.
• 고해상도 영상에서는 Eff-UNet이 IoU 0.55, F1-score 0.64를 기록하여 YOLOv9 프롬프트를 사용한 SAM 2(IoU: 0.54, F1: 0.63)를 略로 뛰어넘었으며, 프롬프트 편향에 대한 강건성이 더 뛰어나다는 것을 시사한다.
• 저해상도 조건에서는 사용자 상자 프롬프트가 합리적인 성능을 달성하는 데 필수적이었으며, 이러한 프롬프트 없이 SAM 모델은 세분화 정확도에서 어려움을 겪었다.
• SAM 모델은 프롬프트 품질에 더 민감했으며, 불완전한 YOLOv9 상자 프롬프트를 입력받을 경우 임의의 양성 결과 비율이 크게 증가했다. 반면, Eff-UNet는 모든 조건에서 일관된 성능을 보였다.