[논문 리뷰] TOV: The Original Vision Model for Optical Remote Sensing Image Understanding via Self-supervised Learning

Chao Tao, Ji Qia외 4명|arXiv (Cornell University)|2022. 04. 10.

Remote-Sensing Image Classification인용 수 9

한 줄 요약

이 논문은 인간의 시각 인지 방식과 유사하고 작업에 종속되지 않는 방식으로, 대규모 레이블이 없는 고해상도 위성 영상에서 일반적인 비전 모델을 사전 훈련하는 자기지도 학습 프레임워크인 TOV(The Original Vision model)를 제안한다. 자연 이미지에서 시작하여 도메인 특화된 고해상도 위성 영상으로 이어지는 이중 단계 자기지도 학습 경로를 통해 훈련된 TOV는 12개의 벤치마크에서 시나리오 분류, 객체 검출, 세그멘테이션 작업 전반에 걸쳐 최신 기술을 초월하는 성능을 달성한다. 이는 이미지넷에 기반한 지도 학습 및 최근의 자기지도 학습 사전 훈련 방법보다 뛰어나다.

ABSTRACT

Do we on the right way for remote sensing image understanding (RSIU) by training models via supervised data-dependent and task-dependent way, instead of human vision in a label-free and task-independent way? We argue that a more desirable RSIU model should be trained with intrinsic structure from data rather that extrinsic human labels to realize generalizability across a wide range of RSIU tasks. According to this hypothesis, we proposed extbf{T}he extbf{O}riginal extbf{V}ision model (TOV) in remote sensing filed. Trained by massive unlabeled optical data along a human-like self-supervised learning (SSL) path that is from general knowledge to specialized knowledge, TOV model can be easily adapted to various RSIU tasks, including scene classification, object detection, and semantic segmentation, and outperforms dominant ImageNet supervised pretrained method as well as two recently proposed SSL pretrained methods on majority of 12 publicly available benchmarks. Moreover, we analyze the influences of two key factors on the performance of building TOV model for RSIU, including the influence of using different data sampling methods and the selection of learning paths during self-supervised optimization. We believe that a general model which is trained by a label-free and task-independent way may be the next paradigm for RSIU and hope the insights distilled from this study can help to foster the development of an original vision model for RSIU.

연구 동기 및 목표

• 원격 감지 분야에서 작업에 종속되고 레이블에 의존하는 딥 러닝의 한계를 해결하기 위해 인간의 시각 인지 방식을 영감으로 삼아 일반적이고 레이블이 없는 비전 모델을 제안한다.
• 대규모 레이블이 없는 원격 감지 데이터에서 자기지도 학습을 수행할 경우, 현재의 지도 학습 또는 대비 기반 자기지도 학습 방법보다 더 일반적이고 적응력 있는 비전 모델을 도출할 수 있는지 탐구한다.
• 데이터 샘플링 전략과 학습 경로 설계가 일반적인 원격 감지 비전 모델의 성능에 미치는 영향을 탐색한다.
• 외부 인간의 주석이 아닌 내재된 데이터 구조 학습을 통해 인간의 시각을 모방하는 원격 감지 영상 이해의 새로운 패러다임을 구축한다.
• 단일 사전 훈련 모델이 최소한의 미세조정으로 다양한 원격 감지 영상 이해 작업에 효과적으로 일반화할 수 있음을 입증한다.

제안 방법

• TOV는 이중 단계 자기지도 학습(SSL) 파이프라인을 사용하여 사전 훈련한다: 먼저 웹 규모의 자연 이미지에서(이를 TOV-NI라 함), 그 다음 대규모 레이블이 없는 원격 감지 영상에서(이를 TOV-RS-balanced라 함).
• 모델은 인스턴스 구분 기반 대비 자기지도 학습을 사용하여 양성 및 음성 샘플 쌍을 구별함으로써 불변 특징을 학습한다. 데이터 증강 기법을 적용하여 양성 쌍을 생성한다.
• 지속적인 학습 중에 치명적인 잊힘 현상을 방지하기 위해 메모리 유지 전략을 구현한다. 이는 자연 이미지 데이터셋에서 시작하여 이후 원격 감지 영상 데이터셋으로 순차적으로 훈련할 때 유용하다.
• 이중 경로 학습 전략을 활용한다: $\<D_{NI}\rangle$, $\<D_{RS}\rangle$, 및 $\<D_{NI}, D_{RS}\rangle$를 통해 학습 순서와 데이터 소스 다양성의 영향을 평가한다.
• 모델 일반화에 미치는 영향을 평가하기 위해 데이터 샘플링 전략을 평가하며, 특히 원격 감지 데이터셋에서의 클래스 불균형 문제에 대응하는 데 중점을 둔다.
• 전이 능력을 평가하기 위해 12개의 공개 원격 감지 벤치마크(시나리오 분류, 객체 검출, 세그멘테이션)에서 미세조정을 수행한다.

실험 결과

연구 질문

• RQ1 대규모 레이블이 없는 원격 감지 영상에서 사전 훈련된 자기지도 학습 비전 모델이 지도 학습 또는 기존의 자기지도 학습 방법보다 다양한 원격 감지 영상 이해 작업에서 더 뛰어난 일반화 성능을 달성할 수 있는가?
• RQ2 자연 이미지에서 시작하여 원격 감지 영상으로 이어지는 사전 훈련 순서가 최종 모델 성능에 어떤 영향을 미치는가?
• RQ3 데이터 샘플링 전략이 원격 감지 데이터셋에서의 클래스 불균형 상황에서 모델의 강건성과 일반화 능력에 미치는 영향은 어떠한가?
• RQ4 지속적인 학습 중에 이질적인 데이터 소스에서 순차적으로 훈련할 때 메모리 유지 전략이 치명적인 잊힘 현상을 방지하는 데 얼마나 효과적인가?
• RQ5 자연 이미지와 원격 감지 영상을 함께 사용하여 지식을 통합할 경우, 각각의 데이터셋을 별도로 사용하는 것보다 특징 표현 능력이 얼마나 향상되는가?

주요 결과

• TOV는 시나리오 분류, 객체 검출, 세그멘테이션 작업 전반에 걸쳐 12개의 공개 원격 감지 벤치마크 중 10개에서 이미지넷에 기반한 지도 학습 사전 훈련 및 최근의 두 가지 자기지도 학습 방법보다 뛰어난 성능을 보였다.
• 자연 이미지에서 시작하여 원격 감지 영상으로 이어지는 이중 단계 학습 경로는 자연 이미지만 사용한 경우보다 평균 정확도를 6.63% 향상시키며, 원격 감지 영상만 사용한 경우보다는 11.95% 향상시켰다.
• 지속적인 학습 중 메모리 유지 전략을 적용한 모델은 적용하지 않은 경우보다 유의미하게 높은 성능(평균 OA 67.24%)을 달성했으며, 이는 치명적인 잊힘 현상을 효과적으로 완화함을 확인한다.
• 자연 이미지와 원격 감지 영상을 함께 사용한 일반적 → 전문화된 학습 경로가 가장 높은 성능을 보였으며, 이는 다양한 데이터 소스에서 상호 보완적인 지식 습득이 가능함을 시사한다.
• 오직 원격 감지 영상 데이터만으로 훈련된 모델는 오직 자연 이미지 데이터만으로 훈련된 모델보다도 성능이 열 劣하다. 이는 원격 감지 영상 데이터만으로는 일반적인 시각 표현을 학습하는 데 부족하다는 것을 의미한다.
• 데이터 샘플링 방법의 선택은 성능에 상당한 영향을 미치며, 특히 클래스 불균형 상황에서는 부적절한 샘플링 전략이 거짓 음성 수를 증가시키고 특징 학습을 악화시킨다.