[論文レビュー] Spatial Reasoning for Few-Shot Object Detection

Geonuk Kim, Hong-Gyu Jung+1 more|arXiv (Cornell University)|Nov 2, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文は、グラフ畳み込みネットワーク（GCN）を用いて領域提案（RoI）間の空間的関係をモデル化することで、新規カテゴリの特徴表現を向上させるFew-shot Object Detectionフレームワーク、FSOD-SRを提案する。新規カテゴリとベースカテゴリのRoI間の幾何的および共起的関係を符号化し、新規の空間的データ拡張戦略を採用することで、PASCAL VOCおよびMS COCOで最先端の性能を達成し、少サンプル設定において顕著な向上を示した。

ABSTRACT

Although modern object detectors rely heavily on a significant amount of training data, humans can easily detect novel objects using a few training examples. The mechanism of the human visual system is to interpret spatial relationships among various objects and this process enables us to exploit contextual information by considering the co-occurrence of objects. Thus, we propose a spatial reasoning framework that detects novel objects with only a few training examples in a context. We infer geometric relatedness between novel and base RoIs (Region-of-Interests) to enhance the feature representation of novel categories using an object detector well trained on base categories. We employ a graph convolutional network as the RoIs and their relatedness are defined as nodes and edges, respectively. Furthermore, we present spatial data augmentation to overcome the few-shot environment where all objects and bounding boxes in an image are resized randomly. Using the PASCAL VOC and MS COCO datasets, we demonstrate that the proposed method significantly outperforms the state-of-the-art methods and verify its efficacy through extensive ablation studies.

研究の動機と目的

• 既存のFew-shotオブジェクト検出器が局所的RoI特徴に依存するが、文脈的な空間的関係を活用しないという限界を解消すること。
• 画像内に存在するオブジェクト間の共起および幾何的関係をモデル化することで、レアカテゴリの特徴表現を向上させること。
• すべてのオブジェクトを同時にリサイズすることで、スケールおよび空間的配置の多様な学習に寄与する、空間的データ拡張戦略を開発すること。
• ドメイン内およびクロスデータセット設定の両方で強力なFew-shot一般化性能を達成すること。
• Few-shot微調整中にベースカテゴリの性能が低下するのを軽減するため、動的特徴統合を用いること。

提案手法

• ノードがRoI（RPNから得られる）を表す空間的グラフを構築し、エッジがRoI間の幾何的および意味的関連性を符号化する。特に、新規カテゴリとベースカテゴリのRoI間の関係に注目する。
• エッジ重みは、ボックスのIOU（オーバーラップ率）とベースカテゴリからの分類スコアに基づいて計算され、空間的および意味的関連性を捉える。
• グラフ畳み込みネットワーク（GCN）が空間グラフを介して文脈的情報を伝搬・集約し、RoI特徴を精緻化する。
• 元のRoI特徴とGCN処理済みの文脈的特徴を連結することで、新規カテゴリの識別力を向上させる強化された特徴を形成する。
• 新規の空間的データ拡張戦略により、画像内のすべてのオブジェクトを同時にT回リサイズし、スケールと空間的配置の多様性を高める学習サンプルを指数関数的に増やす。
• これらのコンponentsをメタラーニングフレームワークに統合し、わずか数例での学習で新規カテゴリを検出可能にする。

Figure 1: Conceptual example of the human visual system for recognizing new objects using a spatial reasoning process. Even if a human has little experience of new objects and has trouble recognizing the objects individually, it is possible to recognize the objects applying a spatial reasoning proce

実験結果

リサーチクエスチョン

• RQ1 新規カテゴリとベースカテゴリのオブジェクト間の空間的関係をモデル化することで、Few-shotオブジェクト検出性能が向上するか？
• RQ2 オブジェクト間の幾何的および共起パターンを組み込むことで、希少カテゴリの特徴表現にどのような影響を与えるか？
• RQ3 グラフベースの空間的推論メカニズムは、従来のRoIレベル特徴操作を上回る性能を示すか？
• RQ4 すべてのオブジェクトを同時にリサイズする空間的データ拡張は、データが少ない状況での一般化性能を向上させるか？
• RQ5 提案手法は、新規カテゴリの検出性能を著しく向上させる一方で、ベースカテゴリの性能を維持できるか？

主な発見

• 提案手法FSOD-SRは、20-way 10-shot PASCAL VOCベンチマークで43.2 mAPを達成し、以前の最先端手法（MPSR）を0.9 mAP上回った。
• クロスデータセット一般化設定（MS COCOベース、PASCAL VOC新規）では、FSOD-SRが43.2 mAPを達成し、MPSR（42.3 mAP）およびMeta R-CNN（37.4 mAP）を上回った。
• アブレーションスタディにより、空間的グラフと空間的データ拡張の両方が性能向上に顕著な貢献していることが確認され、GCNベースの推論によりmAPが最大3.5ポイント向上した。
• 可視化結果から、モデルが意味的に妥当なベースカテゴリ（例：モニタ、キーボード）と空間的近接性や共起性に基づいて新規オブジェクト（例：マウス）を接続する有意義な空間的関係を学習していることが示された。
• 未観測ドメインへの一般化性能も強く、MS COCOの20-way 1-shotで44.6 mAPを達成した。これは、MS COCOの60個のベースカテゴリで学習し、PASCAL VOCで微調整した結果である。
• 新規カテゴリの性能向上は見られたが、TFAと比較してベースカテゴリのmAPにわずかな低下が見られた。これは将来的に動的特徴統合により是正可能なトレードオフであると示唆された。

Figure 3: Detailed flowchart of the edge regression. We transform the RoI visual features and the corresponding coordinates from an RPN into latent spaces to calculate the relatedness of RoIs. Finally, the ReLU function is exploited to build a sparse graph.