[논문 리뷰] SGMNet: Scene Graph Matching Network for Few-Shot Remote Sensing Scene Classification

Baoquan Zhang, Shanshan Feng외 3명|arXiv (Cornell University)|2021. 10. 09.

Remote-Sensing Image Classification참고 문헌 60인용 수 5

한 줄 요약

SGMNet는 시각적 그래프를 통해 객체 동시 발생과 공간 상관관계를 모델링함으로써 소수의 레이블이 있는 원격 감지 영상 분류를 위한 시나리오 그래프 매칭 네트워크를 제안한다. 이로 인해 특히 매우 적은 수의 레이블 샘플(K=1–5)이 있는 경우 최신 기술 수준의 성능을 달성한다. 이는 지원 이미지와 쿼리 이미지 간의 그래프 수준 유사도 매칭을 통해 달성된다.

ABSTRACT

Few-Shot Remote Sensing Scene Classification (FSRSSC) is an important task, which aims to recognize novel scene classes with few examples. Recently, several studies attempt to address the FSRSSC problem by following few-shot natural image classification methods. These existing methods have made promising progress and achieved superior performance. However, they all overlook two unique characteristics of remote sensing images: (i) object co-occurrence that multiple objects tend to appear together in a scene image and (ii) object spatial correlation that these co-occurrence objects are distributed in the scene image following some spatial structure patterns. Such unique characteristics are very beneficial for FSRSSC, which can effectively alleviate the scarcity issue of labeled remote sensing images since they can provide more refined descriptions for each scene class. To fully exploit these characteristics, we propose a novel scene graph matching-based meta-learning framework for FSRSSC, called SGMNet. In this framework, a scene graph construction module is carefully designed to represent each test remote sensing image or each scene class as a scene graph, where the nodes reflect these co-occurrence objects meanwhile the edges capture the spatial correlations between these co-occurrence objects. Then, a scene graph matching module is further developed to evaluate the similarity score between each test remote sensing image and each scene class. Finally, based on the similarity scores, we perform the scene class prediction via a nearest neighbor classifier. We conduct extensive experiments on UCMerced LandUse, WHU19, AID, and NWPU-RESISC45 datasets. The experimental results show that our method obtains superior performance over the previous state-of-the-art methods.

연구 동기 및 목표

• 레이블 데이터가 부족한 소수의 레이블이 있는 원격 감지 영상 분류(FSRSSC) 문제를 해결한다.
• 기존 방법에서 간과된 원격 감지 영상의 두 가지 고유한 특성인 객체 동시 발생과 공간 상관관계를 식별하고 활용한다.
• 이러한 특성을 활용하여 소수의 레이블 예제로도 일반화 성능을 향상시킬 수 있는 메타학습 프레임워크를 개발한다.
• 낮은 샘플 수 설정에서 분류 정확도를 향상시키기 위해 시나리오 그래프 기반의 유사도 매칭 메커니즘을 설계한다.

제안 방법

• 노드가 동시 발생하는 객체를 나타내고, 간선이 공간 관계를 표현하는 시나리오 그래프를 각 원격 감지 영상과 시나리오 클래스에 대해 구축한다.
• 객체 특징과 시나리오 그래프 내의 공간 상관관계를 인코딩하기 위해 그래프 신경망을 사용한다.
• 노드 수준 및 간선 수준에서 지원 및 쿼리 시나리오 그래프 간의 유사도 점수를 계산하는 그래프 매칭 모듈을 구현한다.
• 최종 예측을 위해 학습된 그래프 수준의 유사도 점수를 사용하는 최소 거리 분류기(근접 이웃 분류기)를 적용한다.
• 각 에피소드가 소수의 레이블 분류 작업을 시뮬레이션하는 메타학습을 사용하여 모델을 엔드 투 엔드로 훈련한다.
• 그래프 상호작용 레이어에서 어텐션 메커니즘을 활용하여 지원 및 쿼리 그래프 간의 대응되는 객체를 정렬한다.

실험 결과

연구 질문

• RQ1 원격 감지 영상에서 객체 동시 발생과 공간 상관관계를 모델링하면 소수의 레이블이 있는 분류 성능을 향상시킬 수 있는가?
• RQ2 제안된 시나리오 그래프 매칭 메커니즘은 원격 감지 데이터에서 전통적인 메트릭 기반 또는 최적화 기반의 소수의 레이블 학습 방법과 비교해 어떻게 성능을 냅니까?
• RQ3 객체 동시 발생과 공간 상관관계는 FSRSSC에서 데이터 부족 문제를 어느 정도 완화하는가?
• RQ4 다양한 신규 클래스 수(N-way)와 소수의 레이블 수(K-shot) 설정에서 이 방법은 얼마나 견고한가?

주요 결과

• SGMNet는 UCMerced LandUse, WHU19, AID, NWPU-RESISC45 데이터셋에서 모든 소수의 레이블 설정에서 최신 기술 수준의 성능을 달성한다.
• 특히 K=1–5일 경우 기존의 최신 기술 수준 방법보다 뚜렷하게 뛰어난 성능을 보이며 극도로 부족한 데이터 상황에서도 강력한 일반화 능력을 입증한다.
• UCMerced LandUse에서 SGMNet는 이전 최신 기술 수준 방법 대비 1.5–3.5%의 정확도 향상을 기록했으며, 모든 K-shot 설정에서 일관된 향상을 보였다.
• 시각화 결과는 그래프 매칭 메커니즘이 지원 및 쿼리 이미지 간에 대응되는 객체(예: 물, 선박)를 효과적으로 정렬하며, 의미적으로 일치하는 노드에 대해 높은 매칭 가중치를 생성함을 확인했다.
• K=8–10일 때 WHU 및 NWPU-RESISC45에서 성능이 약간 저하되는 것으로 나타나, 그래프 모델링의 이점이 주로 저샘플 설정에서 두드러짐을 시사한다.
• N=2에서 N=5까지 다양한 N-way 분류 작업에서 이 방법은 기준 모델 대비 일관되게 1–10%의 성능 향상을 유지하며 뛰어난 견고성을 보였다.