[논문 리뷰] Feature Guided Masked Autoencoder for Self-supervised Learning in Remote Sensing

Yi Wang, Hugo Hernández Hernández외 2명|arXiv (Cornell University)|2023. 10. 28.

Image Processing Techniques and Applications인용 수 5

한 줄 요약

이 논문은 원격 감지 분야를 위한 자기지도 학습 방법으로 특징 유도 마스킹 오토인코더(FG-MAE)를 제안한다. FG-MAE는 기존 MAE의 원본 이미지 재구성 방식을 다중스펙트럴 영상의 경우 HOG 및 NDI 특징으로, SAR 영상의 경우 HOG 특징만으로 대체한다. FG-MAE는 특히 노이즈가 많은 SAR 영상에서 최신 기술 수준의 성능을 달성하며, 0.7B 파라미터를 가진 ViT-Huge 모델로도 효율적으로 확장 가능하다.

ABSTRACT

Self-supervised learning guided by masked image modelling, such as Masked AutoEncoder (MAE), has attracted wide attention for pretraining vision transformers in remote sensing. However, MAE tends to excessively focus on pixel details, thereby limiting the model's capacity for semantic understanding, in particular for noisy SAR images. In this paper, we explore spectral and spatial remote sensing image features as improved MAE-reconstruction targets. We first conduct a study on reconstructing various image features, all performing comparably well or better than raw pixels. Based on such observations, we propose Feature Guided Masked Autoencoder (FG-MAE): reconstructing a combination of Histograms of Oriented Graidents (HOG) and Normalized Difference Indices (NDI) for multispectral images, and reconstructing HOG for SAR images. Experimental results on three downstream tasks illustrate the effectiveness of FG-MAE with a particular boost for SAR imagery. Furthermore, we demonstrate the well-inherited scalability of FG-MAE and release a first series of pretrained vision transformers for medium resolution SAR and multispectral images.

연구 동기 및 목표

• 표준 MAE가 SAR 영상에서 스펙클 노이즈로 인해 발생하는 픽셀 수준의 노이즈와 잡음에 과도하게 집중하는 한계를 해결한다.
• 자기지도 사전학습을 위한 마스킹 오토인코딩에서 원본 픽셀 대신 전문가가 설계한 이미지 특징이 더 나은 재구성 타겟이 될 수 있는지 탐색한다.
• 다중스펙트럴 및 SAR 원격 감지 분야의 비전 트랜스포머에서 의미적 이해를 향상시키기 위한 통합적이고 효율적이며 확장 가능한 방법을 개발한다.
• 특징 유도 재구성 방식이 시나리오 분류 및 의미 분할 작업의 최종 성능을 향상시킨다는 것을 입증한다.
• 다중스펙트럴 및 SAR 영상에 대해 사전 학습된 비전 트랜스포머 모델을 공개하여 향후 기초 모델 연구를 지원한다. 최대 크기로 ViT-Huge(0.7B 파라미터)까지 제공된다.

제안 방법

• 표준 MAE의 재구성 타겟(원본 이미지 패치)을 의미적 이미지 특징으로 대체한다. 다중스펙트럴 데이터의 경우 공간적 구조를 위한 HOG와 스펙트럼 정보를 위한 NDI를 사용한다.
• SAR 영상의 경우 스펙클 노이즈에 민감도를 낮추면서도 공간적 의미를 유지하기 위해 HOG 특징만을 사용한다.
• MAE의 비대칭 인코더-디코더 아키텍처를 변형하여 75%의 패치를 마스킹하고, 별도의 디코더 헤드를 사용해 마스킹된 특징만 재구성한다.
• 예측된 특징과 진짜 특징 간의 재구성 손실(MSE)을 사용해 모델을 엔드 투 엔드로 훈련하며, 다중스펙트럴 환경에서는 HOG 및 NDI에 대해 별도의 예측 헤드를 사용한다.
• ViT 아키텍처의 다양한 크기(Small에서 Huge까지)로 방법을 확장하여, MAE의 효율성을 유지하면서 선형 평가 및 미세조정 프로토콜을 지원한다.
• 수동으로 설계된 특징을 통합하여 도메인 특화 지식을 활용함으로써 추가적인 감독 없이도 표현 학습을 유도한다.

실험 결과

연구 질문

• RQ1 원본 이미지 재구성 대신 의미적 이미지 특징(HOG, NDI 등)을 사용하면 자기지도 표현 학습이 원격 감지 분야에서 향상되는가?
• RQ2 다중스펙트럴 및 SAR 영상에서 특징 유도 재구성 방식이 표준 MAE 대비 최종 성능에서 어떻게 비교되는가?
• RQ3 공간적 특징과 스펙트럼적 특징의 조합 중 어느 조합이 다중스펙트럴 영상 사전학습에서 가장 높은 성능을 낼 수 있는가?
• RQ4 ViT-Huge와 같은 더 큰 비전 트랜스포머 아키텍처로 FG-MAE가 선형 평가 하에서 효과적으로 확장되는가?
• RQ5 표준 MAE에 비해 FG-MAE는 SAR 영상의 스펙클 노이즈로 인한 악영향을 완화하는가?

주요 결과

• FG-MAE는 세 가지 최종 작업—BigEarthNet-MM의 시나리오 분류, EuroSAT의 의미 분할, DFC2020의 의미 분할—모두에서 표준 MAE를 능가하며 일관된 성능 향상을 보였다.
• EuroSAT 데이터셋에서 FG-MAE는 의미 분할 mIoU가 85.4%를 기록하여 MAE의 80.4%보다 4.5%p 높은 성능을 보였다.
• DFC2020의 SAR 영상에서 FG-MAE는 mIoU를 MAE의 38.9%에서 39.3%로 향상시켜 도전적인 SAR 데이터 조건에서도 유의미한 성과를 달성했다.
• ViT-Huge(0.7B 파라미터)로 확장했을 때 FG-MAE는 선형 평가에서 BigEarthNet-MM에서 80.7%의 top-1 정확도를 기록하여 MAE의 79.3%를 초월했다.
• 모델은 MAE의 계산 효율성을 그대로 유지하여 대규모 기초 모델의 훈련 및 평가에 추가적인 오버헤드 없이 수행 가능했다.
• FG-MAE에서 재구성된 특징은 종종 노이즈가 많은 진짜 SAR 영상보다 더 선명하게 나타나, 디스펙클링과 같은 저수준 영상 복원 작업에 응용 가능할 잠재력을 보였다.