[논문 리뷰] The Role of Pre-Training in High-Resolution Remote Sensing Scene Classification.

Vladimir Risojević, Vladan Stojnić|arXiv (Cornell University)|2021. 11. 05.

Remote-Sensing Image Classification참고 문헌 27인용 수 6

한 줄 요약

이 논문은 고해상도 위성 영상(HRRS) 데이터셋에서부터 뷰어 모델을 처음부터 훈련시키면 ImageNet 사전 훈련 모델을 미세조정한 것과 유사한 성능을 얻을 수 있음을 보여준다. 또한 HRRS 데이터에서 직접 학습된 표현은 ImageNet 표현보다 더 잘 다른 작업으로 전이됨을 보이며, 도메인 적응형 사전 훈련—도메인 내 데이터를 사용해 두 번째 사전 훈련 단계를 거치는 방식—이 가장 우수한 특징을 생성함을 시사한다.

ABSTRACT

Due to the scarcity of labeled data, using models pre-trained on ImageNet is a de facto standard in remote sensing scene classification. Although, recently, several larger high resolution remote sensing (HRRS) datasets have appeared with a goal of establishing new benchmarks, attempts at training models from scratch on these datasets are sporadic. In this paper, we show that training models from scratch on several newer datasets yields comparable results to fine-tuning the models pre-trained on ImageNet. Furthermore, the representations learned on HRRS datasets transfer to other HRRS scene classification tasks better or at least similarly as those learned on ImageNet. Finally, we show that in many cases the best representations are obtained by using a second round of pre-training using in-domain data, i.e. domain-adaptive pre-training. The source code and pre-trained models are available at \url{https://github.com/risojevicv/RSSC-transfer.}

연구 동기 및 목표

• 고해상도 위성 영상(HRRS) 데이터셋에서부터 뷰어 모델을 처음부터 훈련시키는 것이 ImageNet 미세조정 성능과 비교해 유사한 성능을 내는지 평가하는 것.
• HRRS 데이터셋에서 학습된 표현의 전이 가능성과 ImageNet에서 학습된 표현의 전이 가능성 간 비교 연구.
• 도메인 내 HRRS 데이터를 사용해 두 번째 단계의 사전 훈련을 수행하면 특징 품질과 최종 작업 성능이 향상되는지 검토하는 것.
• 도메인 내 사전 훈련의 효과성을 입증함으로써 HRRS 영상 분류의 새로운 벤치마크를 설정하는 것.

제안 방법

• EuroSAT, AID, WHU-OPT 등 최근의 여러 HRRS 데이터셋에서 ResNets 및 비전 트랜스포머와 같은 뷰어 모델을 처음부터 훈련시키는 것.
• 동일한 HRRS 벤치마크에서 ImageNet 사전 훈련 가중치를 사용해 미세조정한 모델과 비교해, 처음부터 훈련한 모델의 성능을 평가하는 것.
• 하위 작업에 대한 미세조정 전에 ImageNet 가중치를 HRRS 데이터로 추가로 사전 훈련함으로써 도메인 적응형 사전 훈련을 적용하는 것.
• 여러 개의 HRRS 영상 분류 데이터셋을 대상으로 전이 성능를 평가하여 표현의 일반화 능력을 분석하는 것.
• 상위-1 정확도와 같은 표준 지표를 사용해 다양한 사전 훈련 전략의 효과성을 정량적으로 비교하는 것.

실험 결과

연구 질문

• RQ1 HRRS 데이터셋에서 처음부터 훈련하면 ImageNet 사전 훈련 모델을 미세조정한 것과 유사한 성능를 달성할 수 있는가?
• RQ2 HRRS 데이터에서 학습된 표현의 전이 가능성은 ImageNet에서 학습된 표현보다 어떻게 다른가?
• RQ3 HRRS 데이터에서 두 번째 단계의 사전 훈련을 수행하면 특징 품질과 최종 작업 성능가 향상되는가?
• RQ4 ImageNet 미세조정, HRRS 전용 사전 훈련, 도메인 적응형 사전 훈련 중 어느 전략이 HRRS 영상 분류에 가장 우수한 표현을 제공하는가?

주요 결과

• 여러 HRRS 영상 분류 벤치마크에서 HRRS 데이터셋에서 처음부터 훈련한 모델이 ImageNet 사전 훈련 모델을 미세조정한 것과 유사한 성능를 기록함을 확인함.
• HRRS 데이터에서 직접 학습된 표현은 ImageNet에서 학습된 표현보다 다른 HRRS 작업으로의 전이가 더 잘 되거나 동일한 성능를 보임.
• 도메인 적응형 사전 훈련—ImageNet 가중치를 HRRS 데이터로 사전 훈련한 후 최종 작업에 대해 미세조정하는 방식—이 평가된 모든 데이터셋에서 가장 뛰어난 성능를 보이는 특징을 생성함.
• 모델이 도메인 내 HRRS 데이터를 사용해 두 번째 사전 훈련 단계를 거치는 경우 항상 가장 우수한 성능를 기록함으로써, 도메인 특화 사전 훈련이 특징 품질을 향상시킴을 시사함.