[논문 리뷰] PointSAM: Pointly-Supervised Segment Anything Model for Remote Sensing Images

Nanqing Liu, Xun Xu외 3명|arXiv (Cornell University)|2024. 09. 20.

Big Data and Business Intelligence인용 수 4

한 줄 요약

이 논문은 원격 감지 영상(RSIs)을 위한 PointSAM을 제안하며, 점 앤오테이션(점 레이블)만을 사용하여 세그먼테이션 어芮티모델(SAM)의 점별 지도 학습적 변형을 수행한다. 자기학습 프레임워크와 프로토타입 기반 정규화, 음성 프롬프트 캘리브레이션을 통해 오차 누적과 고밀도 객체 간섭을 완화한다. NWPU VHR-10, HRSID, WHU 데이터셋에서 기존의 SAM, SAM2 및 이전의 약한 지도 학습 방법들을 능가하는 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Segment Anything Model (SAM) is an advanced foundational model for image segmentation, which is gradually being applied to remote sensing images (RSIs). Due to the domain gap between RSIs and natural images, traditional methods typically use SAM as a source pre-trained model and fine-tune it with fully supervised masks. Unlike these methods, our work focuses on fine-tuning SAM using more convenient and challenging point annotations. Leveraging SAM's zero-shot capabilities, we adopt a self-training framework that iteratively generates pseudo-labels for training. However, if the pseudo-labels contain noisy labels, there is a risk of error accumulation. To address this issue, we extract target prototypes from the target dataset and use the Hungarian algorithm to match them with prediction prototypes, preventing the model from learning in the wrong direction. Additionally, due to the complex backgrounds and dense distribution of objects in RSI, using point prompts may result in multiple objects being recognized as one. To solve this problem, we propose a negative prompt calibration method based on the non-overlapping nature of instance masks. In brief, we use the prompts of overlapping masks as corresponding negative signals, resulting in refined masks. Combining the above methods, we propose a novel Pointly-supervised Segment Anything Model named PointSAM. We conduct experiments on RSI datasets, including WHU, HRSID, and NWPU VHR-10, and the results show that our method significantly outperforms direct testing with SAM, SAM2, and other comparison methods. Furthermore, we introduce PointSAM as a point-to-box converter and achieve encouraging results, suggesting that this method can be extended to other point-supervised tasks. The code is available at https://github.com/Lans1ng/PointSAM.

연구 동기 및 목표

• 자연 이미지와 원격 감지 영상(RSIs) 간의 도메인 갭을 해결하기 위해, SAM의 제로샷 성능가 오차가 발생하는 이유는 분포 외 객체와 복잡한 배경 때문임을 고려한다.
• 완전한 마스크나 박스 앤오테이션보다 저비용이고 확장성이 뛰어난 점 앤오테이션만을 사용하여 SAM의 효과적인 미세조정을 가능하게 하되, 자기학습 과정에서의 오차 누적을 방지한다.
• 점 프롬프트가 여러 객체를 하나의 마스크로 통합하는 문제를 해결하기 위해, 고밀도이고 혼잡한 RSIs 환경에서의 도전 과제를 극복한다.
• 약한 지도 학습 세그먼테이션에 잘 일반화되며, 점에서 박스로의 변환 등 다른 작업(예: 회전된 객체 검출)으로도 확장 가능한 방법을 개발한다.

제안 방법

• 약한 증강을 적용한 입력에서 모델이 가짜 레이블을 생성하는 자기학습 프레임워크를 채택하여, 완전한 지도 학습 없이도 반복적인 개선이 가능하도록 한다.
• 프로토타입 기반 정규화를 도입: 데이터셋에서 대상별 프로토타입을 추출하고, 히운가리안 알고리즘을 사용해 예측 프로토타입과 매칭하여 학습 안정성을 향상시키고 오차 누적을 감소시킨다.
• 음성 프롬프트 캘리브레이션을 제안: 겹치는 마스크 예측을 음성 신호로 활용하여 세그먼테이션을 정밀하게 개선하며, RSIs에서 개체 마스크가 겹치지 않는 특성을 유용하게 활용한다.
• 약한 증강과 강한 증강을 동시에 사용하는 듀얼 브랜치 네트워크를 활용하여 일관된 예측을 생성하고 자기학습 중 안정성을 향상시킨다.
• 점에서 박스로의 변환 파이프라인을 적용: 점 프롬프트에서 마스크를 생성하고, 최소 외접 직사각형을 계산하여 수평 경계 상자(HBB)를 생성한 후, 이를 회전된 객체 검출기로 입력한다.
• 백본으로 ResNet-50를 사용하고, HRSID에서 입력 크기 800×800로 12 에포크 동안 훈련하여 검출 성능를 평가한다.

실험 결과

연구 질문

• RQ1 노이즈가 많은 가짜 레이블이 존재하는 상황에서, 점 앤오테이션만을 사용한 자기학습 프레임워크가 원격 감지 영상에서 SAM을 효과적으로 미세조정할 수 있는가?
• RQ2 프로토타입 기반 정규화는 도메인 이격된 세그먼테이션에서 자기학습 과정의 학습 안정성 향상과 오차 누적 감소에 어떻게 기여하는가?
• RQ3 음성 프롬프트 캘리브레이션은 점 프롬프트로 인해 통합되는 고밀도로 분포된 객체들(예: 항만 영상에서의 선박, 그림자 있는 저장 탱크 등)을 효과적으로 분리할 수 있는가?
• RQ4 PointSAM은 얼마나 잘 방향성 객체 검출을 위한 점에서 박스로의 변환 도구로 활용될 수 있으며, 완전한 지도 학습 기반 베이스라인과 비교해 성능는 어떠한가?

주요 결과

• PointSAM은 NWPU VHR-10, HRSID, WHU 세 가지 벤치마크 RSIs 데이터셋에서 기존의 SAM, SAM2 및 WeSAM, DePT와 같은 이전의 약한 지도 학습 방법들을 능가하는 최신 기술 수준(SOTA) 성능을 달성한다.
• HRSID 데이터셋에서 PointSAM + H2RBox-v2는 68.9% 재현율과 59.5% AP50 성능을 기록했으며, 기존의 SAM 대비 15% 향상되었고, 점 지도 학습 기반 검출에서 Point2RBox를 능가한다.
• 프로토타입 기반 정규화는 다양한 RSIs 환경에서 더 정확하고 안정적인 마스크 예측을 통해 오차 누적을 크게 감소시킴을 입증했다.
• 음성 프롬프트 캘리브레이션은 인접하거나 겹치는 객체들(예: 항만 영상에서의 선박, 그림자 있는 저장 탱크 등)을 효과적으로 분리하여, 다른 방법들이 구분하지 못하는 복잡한 시나리오에서도 성능을 발휘한다.
• 이 방법은 뛰어난 일반화 능력을 보이며, 단지 점 지도 학습만으로도 지도 레이블에 매우 가까운 마스크를 생성한다. 특히 고밀도 및 복잡한 환경에서 뛰어난 성능을 보인다.
• 점에서 박스로의 변환 파이프라인은 효과적인 점 지도 학습 기반의 방향성 객체 검출을 가능하게 하였으며, HBB 지도 학습 기반 방법에 근접한 성능을 달성하였다. 다만 OBB 지도 학습 기반 베이스라인과 비교해 약 20%의 성능 격차가 존재한다.