[論文レビュー] SGMNet: Scene Graph Matching Network for Few-Shot Remote Sensing Scene Classification

Baoquan Zhang, Shanshan Feng+3 more|arXiv (Cornell University)|Oct 9, 2021

Remote-Sensing Image Classification参考文献 60被引用数 5

ひとこと要約

SGMNetは、シーングラフを用いてオブジェクトの共起性と空間的相関をモデル化することで、少数ラベル付きサンプル（K=1–5）においても最先端の性能を達成する、シーングラフマッチングネットワークを提案する。

ABSTRACT

Few-Shot Remote Sensing Scene Classification (FSRSSC) is an important task, which aims to recognize novel scene classes with few examples. Recently, several studies attempt to address the FSRSSC problem by following few-shot natural image classification methods. These existing methods have made promising progress and achieved superior performance. However, they all overlook two unique characteristics of remote sensing images: (i) object co-occurrence that multiple objects tend to appear together in a scene image and (ii) object spatial correlation that these co-occurrence objects are distributed in the scene image following some spatial structure patterns. Such unique characteristics are very beneficial for FSRSSC, which can effectively alleviate the scarcity issue of labeled remote sensing images since they can provide more refined descriptions for each scene class. To fully exploit these characteristics, we propose a novel scene graph matching-based meta-learning framework for FSRSSC, called SGMNet. In this framework, a scene graph construction module is carefully designed to represent each test remote sensing image or each scene class as a scene graph, where the nodes reflect these co-occurrence objects meanwhile the edges capture the spatial correlations between these co-occurrence objects. Then, a scene graph matching module is further developed to evaluate the similarity score between each test remote sensing image and each scene class. Finally, based on the similarity scores, we perform the scene class prediction via a nearest neighbor classifier. We conduct extensive experiments on UCMerced LandUse, WHU19, AID, and NWPU-RESISC45 datasets. The experimental results show that our method obtains superior performance over the previous state-of-the-art methods.

研究の動機と目的

• ラベル付きデータが限られる少数ラベル付きリモートセンシングシーン分類（FSRSSC）の課題に対処すること。
• リモートセンシング画像の2つの特徴（オブジェクトの共起性と空間的相関）を同定し、それらを活用すること。これらは従来の手法では無視されている。
• これらの特徴を活用して、少数のラベル付きサンプルでも一般化性能を向上させるメタラーニングフレームワークを開発すること。
• 低ショット設定での分類精度を向上させるために、シーングラフに基づく類似度マッチングメカニズムを設計すること。

提案手法

• 共起するオブジェクトをノードとして、空間的関係をエンコードするエッジを含む、各リモートセンシング画像およびシーンクラスのシーングラフを構築する。
• グラフニューラルネットワークを用いて、シーングラフ内のオブジェクト特徴と空間的相関を符号化する。
• ノードおよびエッジレベルで、サポート画像とクエリ画像のシーングラフ間の類似度スコアを計算するグラフマッチングモジュールを実装する。
• 学習されたグラフレベル類似度スコアを用いて最近傍法分類器を適用し、最終的な予測を行う。
• エピソード学習を用いたメタラーニングにより、エンドツーエンドでモデルを訓練する。各エピソードは少数ラベル付き分類タスクをシミュレートする。
• グラフ相互作用層でアテンションメカニズムを活用し、サポートグラフとクエリグラフ間の対応するオブジェクトをアライメントする。

実験結果

リサーチクエスチョン

• RQ1 リモートセンシング画像におけるオブジェクトの共起性と空間的相関をモデル化することで、少数ラベル付き分類性能が向上するか？
• RQ2 提案されたシーングラフマッチング機構は、リモートセンシングデータにおいて、従来のメトリクスベースまたは最適化ベースの少数ラベル付き学習手法と比較して、どのように性能を発揮するか？
• RQ3 オブジェクトの共起性と空間的相関は、FSRSSCにおけるデータ不足問題をどの程度軽減できるか？
• RQ4 本手法は、異なる数の新規クラス（N-way）および少数ラベル付き設定（K-shot）に対して、どの程度頑健か？

主な発見

• SGMNetは、UCMerced LandUse、WHU19、AID、NWPU-RESISC45の4つのデータセットにおいて、すべての少数ラベル付き設定で最先端の性能を達成した。
• 特にK=1–5の設定では、既存の最先端手法を顕著に上回り、極度のデータ不足下でも強力な一般化性能を示した。
• UCMerced LandUseでは、前回の最先端手法に対して1.5–3.5%の精度向上を達成し、全K-shot設定で一貫した改善が見られた。
• 可視化結果から、グラフマッチング機構が、サポート画像とクエリ画像間で対応するオブジェクト（例：水、船）を効果的にアライメントしており、意味的に整合するノードに対して高いマッチング重みを生成することが確認された。
• WHUおよびNWPU-RESISC45では、K=8–10の設定で性能がわずかに低下したが、これはグラフモデリングの利点が主に低ショット環境で顕著であることを示唆している。
• N=2からN=5の異なるN-way分類タスクにおいても、本手法は一貫した1–10%の性能向上をベースライン手法に対して示し、高い頑健性を維持した。