[논문 리뷰] Scale-MAE: A Scale-Aware Masked Autoencoder for Multiscale Geospatial Representation Learning

Colorado Reed, Ritwik Gupta외 8명|arXiv (Cornell University)|2022. 12. 30.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

Scale-MAE는 다중 해상도 위성 영상에서 지상 샘플 거리(GSD)-기반 위치 인코딩과 라플라시안 피라미드 디코더를 통합하여 다중 척도에서 저주파 및 고주파 특징을 재구성함으로써 비전 트랜스포머를 다중 척도 원격 감지 영상에서 사전 훈련하는 척도 인식 마스킹 오토인코더이다. 다양한 척도에서 비모수적 kNN 분류에서 평균 2.4–5.6% 향상되고, SpaceNet 빌딩 세그멘테이션에서 mIoU가 0.9–1.7 향상되어, 순수한 MAE, SatMAE, ConvMAE와 같은 최신 기법들을 능가한다.

ABSTRACT

Large, pretrained models are commonly finetuned with imagery that is heavily augmented to mimic different conditions and scales, with the resulting models used for various tasks with imagery from a range of spatial scales. Such models overlook scale-specific information in the data for scale-dependent domains, such as remote sensing. In this paper, we present Scale-MAE, a pretraining method that explicitly learns relationships between data at different, known scales throughout the pretraining process. Scale-MAE pretrains a network by masking an input image at a known input scale, where the area of the Earth covered by the image determines the scale of the ViT positional encoding, not the image resolution. Scale-MAE encodes the masked image with a standard ViT backbone, and then decodes the masked image through a bandpass filter to reconstruct low/high frequency images at lower/higher scales. We find that tasking the network with reconstructing both low/high frequency images leads to robust multiscale representations for remote sensing imagery. Scale-MAE achieves an average of a $2.4 - 5.6\%$ non-parametric kNN classification improvement across eight remote sensing datasets compared to current state-of-the-art and obtains a $0.9$ mIoU to $1.7$ mIoU improvement on the SpaceNet building segmentation transfer task for a range of evaluation scales.

연구 동기 및 목표

• 기존 원격 감지용 자기지도 학습 사전 훈련 방법에서 척도 인식 부족으로 인해 다양한 공간 척도 간 일반화에 실패하는 문제를 해결하기 위해.
• 0.3m에서 1km까지 다양한 지상 샘플 거리(GSD)에 대해 재훈련 없이도 단일 사전 훈련 모델이 효과적으로 일반화할 수 있도록 하기 위해.
• 사전 훈련 단계에서 척도 관계를 명시적으로 모델링하여 분류 및 세그멘테이션과 같은 다중 척도 원격 감지 작업의 최종 성능을 향상시키기 위해.
• 사전 훈련 단계에서 척도 간 강력하고 이식 가능한 표현을 학습함으로써 척도별 맞춤 미세조정의 필요성을 줄이기 위해.
• GSD 기반 위치 인코딩과 다단계 라플라시안 피라미드 디코더를 조합한 새로운 아키텍처를 도입하기 위해.

제안 방법

• Scale-MAE는 입력 영상의 해상도가 아니라 실제 영상이 커버하는 영역에 기반해 스케일링된 위치 임베딩을 사용하는 지상 샘플 거리 위치 인코딩(GSDPE)을 갖춘 비전 트랜스포머(ViT) 인코더를 사용한다.
• 모델은 입력 영상의 패치를 마스킹하고, 세 단계의 디코더를 사용하여 재구성한다: (1) 경량 ViT 디코더, (2) 특징 맵을 업샘플링하기 위한 점진적 디컨볼루션, (3) 저주파 및 고주파 성분을 추출하기 위한 라플라시안 블록.
• 디코더는 두 가지 출력을 재구성한다: 저주파 영상(부드러운)과 고주파 잔차(모서리가 뚜렷한), 각각 다른 손실 함수를 사용한다: 고주파 성분에 대해 L1 손실, 저주파 성분에 대해 L2 손실.
• 모델은 동일한 인코더가 다양한 알려진 GSD에서 영상을 처리할 수 있도록 다중 척도 재구성 목표를 사용하여 사전 훈련한다. 이로써 네트워크는 척도 불변 표현을 학습할 수 있다.
• GSDPE는 ViT가 공간적 위치뿐 아니라 척수까지도 주의를 기울일 수 있도록 하여, 영상이 지구상에서 실제 어떤 영역을 커버하는지 이해할 수 있도록 한다.
• 라플라시안 피라미드 구조는 표준 MAE에 비해 더 적은 디코더 파라미터로도 다중 척도 특징을 효율적으로 재구성할 수 있으며, 강력한 성능 유지를 한다.

실험 결과

연구 질문

• RQ1 자기지도 사전 훈련 방법이 알려진 다양한 공간 척도에서 영상 간의 관계를 명시적으로 학습함으로써 원격 감지 분야에서의 최종 일반화 성능 향상에 기여할 수 있는가?
• RQ2 지상 영역을 기반으로 한 척도 인식 위치 인코딩을 통합할 경우, 다양한 GSD에서의 모델 성능에 어떤 영향을 미치는가?
• RQ3 라플라시안 피라미드 디코더를 통해 저주파 및 고주파 성분을 동시에 재구성하는 것이 표준 MAE나 최근의 변종보다 더 강력한 다중 척도 표현을 제공하는가?
• RQ4 SatMAE 및 ConvMAE와 같은 최신 기법들에 비해 Scale-MAE는 다중 척도 원격 감지 벤치마크에서 얼마나 뛰어난 성능을 보이는가?
• RQ5 각 척도에 맞춤 미세조정 없이도 단일 사전 훈련 모델이 다양한 평가 척도에서 뛰어난 성능을 달성할 수 있는가?

주요 결과

• Scale-MAE는 최신 기법들보다 8개의 다양한 원격 감지 데이터셋에서 비모수적 kNN 분류 정확도 평균 2.4–5.6% 향상되었다.
• SpaceNet 빌딩 세그멘테이션 벤치마크에서 Scale-MAE는 다양한 평가 척도에서 mIoU가 0.9~1.7 포인트 향상되어 뛰어난 일반화 성능을 보였다.
• 절단 실험 결과, 저주파 및 고주파 성분을 모두 재구성하는 것이 한 가지 성분만 재구성하는 것보다 성능이 뛰어나며, 병합 손실이 개별 손실보다 우수한 성능을 보였다.
• 더 깊은 디코더보다는 더 적은 디코더 레이어(예: 2–4개)가 더 좋은 성능을 보였으며, 이는 다중 척도 재구성과 함께 경량 디코더로도 충분함을 시사한다.
• GSD 기반 위치 인코딩은 척도 일반화에 크게 기여하며, 이를 제거한 모델은 척도 간 적응에 실패한다.
• 더 높은 해상도 재구성으로 인해 GPU 메모리 사용량이 증가하지만, Scale-MAE는 강력한 효율성과 일반화 성능을 유지하며, 순수한 MAE 및 최근 최고 기법인 SatMAE, ConvMAE를 능가한다.