[論文レビュー] Few-shot Object Detection on Remote Sensing Images

Jingyu Deng, Xiang Li+1 more|arXiv (Cornell University)|Jun 14, 2020

Advanced Neural Network Applications参考文献 58被引用数 7

ひとこと要約

本稿では、メタラーニングを活用して、ほんの数個のアノテート済みサンプルのみで未知のオブジェクトカテゴリを検出できる、リモートセンシング画像向けの few-shot オブジェクト検出手法を提案する。メタ特徴抽出器、特徴融合のための再重み付けモジュール、マルチスケール YOLOv3 をベースとした検出器を統合することで、未学習のクラスにおいても強力な一般化性能を達成し、NWPU VHR-10 データセットにおいて、クラスあたりたった 20 ショットでも標準 YOLOv3 を上回る性能を発揮する。

ABSTRACT

In this paper, we deal with the problem of object detection on remote sensing images. Previous methods have developed numerous deep CNN-based methods for object detection on remote sensing images and the report remarkable achievements in detection performance and efficiency. However, current CNN-based methods mostly require a large number of annotated samples to train deep neural networks and tend to have limited generalization abilities for unseen object categories. In this paper, we introduce a few-shot learning-based method for object detection on remote sensing images where only a few annotated samples are provided for the unseen object categories. More specifically, our model contains three main components: a meta feature extractor that learns to extract feature representations from input images, a reweighting module that learn to adaptively assign different weights for each feature representation from the support images, and a bounding box prediction module that carries out object detection on the reweighted feature maps. We build our few-shot object detection model upon YOLOv3 architecture and develop a multi-scale object detection framework. Experiments on two benchmark datasets demonstrate that with only a few annotated samples our model can still achieve a satisfying detection performance on remote sensing images and the performance of our model is significantly better than the well-established baseline models.

研究の動機と目的

• リモートセンシング画像のオブジェクト検出において、未知のオブジェクトカテゴリに限ってアノテートデータが限られる課題に対処する。
• 少数のサンプルで学習する際に生じる過学習と一般化性能の低下を克服する。
• 最小限の監視情報で、ベースクラスから未知クラスへ知識を効果的に転移可能にする。
• リモートセンシング画像に内在するスケール変動と構造的多様性に特化した few-shot 検出フレームワークを開発する。
• 初めてとして、リモートセンシング分野において few-shot オブジェクト検出をメタラーニングの問題として定式化し、解法を提示する。

提案手法

• スケール変動を扱えるマルチスケールアーキテクチャを備えた YOLOv3 ベースの few-shot オブジェクト検出モデル（FSODM）を提案する。
• 未知クラスのサポート画像から判別的な表現を学習するためのメタ特徴抽出器を採用する。
• クエリ画像との関連性に基づき、サポート画像からの特徴に注意重みを適応的に割り当てる再重み付けモジュールを導入する。
• 再重み付けされた特徴マップ上でバウンディングボックス予測モジュールを用いてオブジェクト検出を実行し、正確な局所化と分類を実現する。
• エンドツーエンドでベースクラス上で学習することでメタ知識を獲得し、推論時に未知クラスへのゼロショット一般化を可能にする。
• t-SNE 視覚化を用いて、学習された再重み付けベクトルがクラスごとにクラスタリングされることを検証し、クラスに依存する特徴表現の有効性を確認する。

実験結果

リサーチクエスチョン

• RQ1 少数のアノテート済みサンプルでのみ学習した few-shot 学習ベースのオブジェクト検出モデルは、リモートセンシング画像において未知のオブジェクトカテゴリに効果的に一般化できるか？
• RQ2 提案された再重み付けモジュールは、リモートセンシングにおける few-shot 検出のための特徴表現学習をどのように向上させるか？
• RQ3 ベースクラスから得たメタ知識は、最小限の監視情報のもとで未知クラスへどの程度転送可能か？
• RQ4 マルチスケール設計は、リモートセンシング画像における多様なオブジェクトサイズに対し、検出性能をどのように向上させるか？
• RQ5 フルデータセットで学習した標準 YOLOv3 と比較して、few-shot モデルの性能はどの程度か？

主な発見

• NWPU VHR-10 データセットにおいて、60 ショット（全トレーニングセットの 8%）でのみ学習した本手法 FSODM は、全データセットで学習した YOLOv3 と同等の検出性能を達成した。
• 野球場クラスでは、20 個のアノテート済みサンプルでのみ学習したにもかかわらず、ほぼベースライン性能に近い結果を示し、低変動オブジェクトにおける強力な一般化能力を示した。
• 構造的・サイズ的変動が著しい航空機クラスに対しても、60 ショットで依然として高い性能を達成し、フルデータセットのベースラインに近づいた。
• t-SNE 視覚化により、同じオブジェクトカテゴリに属する再重み付けベクトルが互いにクラスタリングしていることが確認され、クラスに依存する特徴表現の有効性が裏付けられた。
• DIOR データセットにおいても、ベースクラスでは mAP 0.54 を維持しており、few-shot アダプテーションにもかかわらず性能の低下が見られなかった。
• 再重み付けモジュールは、特にサポートサンプル数が少ない状況で、より判別性の高い特徴に焦点を当てるため、検出精度を顕著に向上させた。