[논문 리뷰] Transfer Learning with Pretrained Remote Sensing Transformers

Anthony T. Fuller, Koreen Millard외 1명|arXiv (Cornell University)|2022. 09. 28.

Remote-Sensing Image Classification인용 수 6

한 줄 요약

이 논문은 130만 장의 위성 유도 원격 감지 이미지로 사전 훈련된 비전 트랜스포머인 SatViT-V2를 소개하고, 다양한 생태계에서의 전이 학습 성능을 평가한다. 분포 이탈 상황에서도 뛰어난 강건성을 보이며, 이전 모델보다 분포 이탈 데이터에서 2.8% 높은 성능을 기록하고, 선형 프로브 미세조정을 통해 校정 성능을 향상시켜 1,638개 생태계 전이 실험 전반에서 뛰어난 일반화 성능을 확보한다.

ABSTRACT

Although the remote sensing (RS) community has begun to pretrain transformers (intended to be fine-tuned on RS tasks), it is unclear how these models perform under distribution shifts. Here, we pretrain a new RS transformer--called SatViT-V2--on 1.3 million satellite-derived RS images, then fine-tune it (along with five other models) to investigate how it performs on distributions not seen during training. We split an expertly labeled land cover dataset into 14 datasets based on source biome. We train each model on each biome separately and test them on all other biomes. In all, this amounts to 1638 biome transfer experiments. After fine-tuning, we find that SatViT-V2 outperforms SatViT-V1 by 3.1% on in-distribution (matching biomes) and 2.8% on out-of-distribution (mismatching biomes) data. Additionally, we find that initializing fine-tuning from the linear probed solution (i.e., leveraging LPFT [1]) improves SatViT-V2's performance by another 1.2% on in-distribution and 2.4% on out-of-distribution data. Next, we find that pretrained RS transformers are better calibrated under distribution shifts than non-pretrained models and leveraging LPFT results in further improvements in model calibration. Lastly, we find that five measures of distribution shift are moderately correlated with biome transfer performance. We share code and pretrained model weights. (https://github.com/antofuller/SatViT)

연구 동기 및 목표

• 다양한 생태계에서 분포 이탈 상황 하에서 사전 훈련된 원격 감지 트랜스포머의 강건성 평가
• 사전 훈련된 비전 트랜스포머를 사용한 전이 학습이 분포 이탈 원격 감지 데이터에서 성능 향상에 기여하는지 조사
• 분포 이탈 상황에서 모델 정확도와 校정 성능에 미치는 선형 프로브 미세조정(LPFT)의 영향 평가
• 전이 성능와 관련된 측정 가능한 분포 이탈 지표 식별
• 재현 가능성과 커뮤니티 활용을 위해 코드와 사전 훈련된 가중치 배포

제안 방법

• 자기지도 대비 학습을 사용해 130만 장의 위성 유도 원격 감지 이미지로 비전 트랜스포머(SatViT-V2)를 사전 훈련
• 14개의 전문가 레이블링이 내장된 토양 피복 데이터셋 각각이 다른 생태계에 해당하는 6개의 기준 모델과 SatViT-V2를 미세조정
• 분포 이탈을 시뮬레이션하기 위해 한 생태계에서 학습하고 나머지 모든 생태계에서 테스트하는 방식으로 1,638개의 전이 실험 수행
• 수렴성과 일반화 성능 향상을 위한 초기화 전략으로 선형 프로브 미세조정(LPFT) 적용
• 기대 校정 오차(ECE)를 사용해 모델의 校정 성능을 정량화하고, 내부 및 외부 분포 설정 간 성능 비교
• 도메인 분산, 특징 분포 이탈 등 5개의 분포 이탈 지표를 측정하고, 전이 정확도와의 상관관계 분석

실험 결과

연구 질문

• RQ1 SatViT-V2는 SatViT-V1과 같은 이전 모델 대비 분포 이탈 원격 감지 데이터에서 어떻게 성능을 내는가?
• RQ2 선형 프로브 미세조정(LPFT)은 분포 이탈 상황에서 정확도와 校정 성능에 얼마나 기여하는가?
• RQ3 원격 감지 분야에서 전이 학습 성능와 관련된 측정 가능한 분포 이탈 지표가 존재하는가?
• RQ4 분포 이탈 상황에서 모델의 校정 성능는 어떻게 변화하며, LPFT는 이를 어떻게 향상시키는가?
• RQ5 LPFT로 얻는 성능 향상은 다양한 생태계와 분포 이탈 상황 전반에서 지속되는가?

주요 결과

• SatViT-V2는 모든 생태계 전이 실험에서 내부 분포 데이터에서 SatViT-V1보다 3.1% 높은 성능, 분포 이탈 데이터에서는 2.8% 높은 성능 기록
• 선형 프로브 미세조정(LPFT)은 SatViT-V2의 성능을 내부 분포 데이터에서 1.2% 향상시키고, 분포 이탈 데이터에서는 2.4% 향상시켰다
• 사전 훈련된 트랜스포머는 사전 훈련되지 않은 모델보다 분포 이탈 상황에서 더 나은 校정 성능를 보였으며, LPFT는 추가로 校정 품질을 향상시켰다
• 분포 이탈을 측정하는 5가지 지표는 생태계 전이 성능와 중간 정도의 상관관계를 보였으며, 이는 예측 가능한 분포 이탈 인식 평가의 잠재적 가능성을 시사한다
• 모델은 모든 14개 생태계에서 일관된 성능 향상을 보이며, 실제 원격 감지 응용 분야에서 강력한 일반화 능력을 입증했다
• 저자들은 재현 가능성과 향후 원격 감지 비전 표현 학습 분야 연구 지원을 위해 코드와 사전 훈련된 가중치를 배포했다