[論文レビュー] Few-shot Semantic Segmentation with Support-induced Graph Convolutional Network

Jie Liu, Yanqi Bao+5 more|arXiv (Cornell University)|Jan 9, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

本論文は、サポート画像からの文脈構造を明示的にマイニングすることでクエリ特徴表現を向上させる、サポート誘導型グラフ畳み込みネットワーク（SiGCN）を提案する。サポート誘導型グラフ推論（SiGR）モジュールとインスタンス関連性（IA）モジュールを統合することで、PASCAL-5iおよびCOCO-20iベンチマークにおいて、特に外見的変化が大きい状況下でも最先端の性能を達成する。

ABSTRACT

Few-shot semantic segmentation (FSS) aims to achieve novel objects segmentation with only a few annotated samples and has made great progress recently. Most of the existing FSS models focus on the feature matching between support and query to tackle FSS. However, the appearance variations between objects from the same category could be extremely large, leading to unreliable feature matching and query mask prediction. To this end, we propose a Support-induced Graph Convolutional Network (SiGCN) to explicitly excavate latent context structure in query images. Specifically, we propose a Support-induced Graph Reasoning (SiGR) module to capture salient query object parts at different semantic levels with a Support-induced GCN. Furthermore, an instance association (IA) module is designed to capture high-order instance context from both support and query instances. By integrating the proposed two modules, SiGCN can learn rich query context representation, and thus being more robust to appearance variations. Extensive experiments on PASCAL-5i and COCO-20i demonstrate that our SiGCN achieves state-of-the-art performance.

研究の動機と目的

• few-shot semantic segmentation（FSS）におけるサポート画像とクエリ画像間の大きな外見的変化が、従来の特徴マッチングベースの手法の性能を低下させることに起因する課題に対処する。
• クエリオブジェクトの顕著な部分間の文脈的関係を明示的にモデル化することで、クエリマスク予測のロバスト性を向上させる。
• 単に特徴マッチングに依存するのではなく、サポートプロトタイプを用いてグラフベースの文脈学習を誘導する、新たなメカニズムを導入する。
• サポートおよびクエリインスタンスの両方から高次インスタンスレベルの文脈を捉えることで、未知のカテゴリへの一般化性能を向上させる。
• サポートとクエリサンプル間に顕著な外見的ばらつきがある状況下でも、1-shotおよび5-shot設定において最先端の性能を達成する。

提案手法

• サポート・クエリ特徴マッチングからの活性化マップに基づいてクエリグラフを構築する、サポート誘導型グラフ推論（SiGR）モジュールを提案し、特徴マッチングに焦点を当てる。
• サポートプロトタイプをガイドとして用い、反復的にクエリグラフを更新することで、より正確で文脈を考慮した特徴集約を可能にする。
• サポートおよびクエリインスタンス間の関係をモデル化することで高次文脈特徴を捉える、インスタンス関連性（IA）モジュールを設計する。
• グラフ畳み込みネットワーク（GCNs）を用いて、クエリグラフ内のノード間で特徴を伝搬・精錬し、サポートプロトタイプがメッセージ伝達プロセスに影響を与えるようにする。
• グラフ構築のための高信頼性・特徴的部位選択のため、マスクしきい値（t=0.7）を適用する。これにより、局所化精度が向上する。
• SiGRおよびIAモジュールを統合した統一されたSiGCNフレームワークを構築し、クエリ文脈表現とサポート誘導型推論を同時に最適化する。

Figure 1: Comparison between (a) previous typical few-shot segmentation (FSS) methods and (b) the proposed support-induced graph convolutional network (SiGCN). (a) Previous FSS methods focus on designing effective feature matching mechanism between support prototypes/features and query feature. Howe

実験結果

リサーチクエスチョン

• RQ1 few-shot semantic segmentationにおける顕著な外見的変化下でも、クエリオブジェクトの文脈を明示的にモデル化することで、セグメンテーションのロバスト性が向上するか？
• RQ2 FSSにおける従来の特徴マッチングと比較して、サポート誘導型グラフ推論は特徉表現をどのように向上させるか？
• RQ3 サポートおよびクエリ画像からの高次インスタンスレベル文脈を統合することで、セグメンテーション性能にどのような影響を与えるか？
• RQ4 ハイパーパrameter（サポートプロトタイプ数k、インスタンスサイズs、マスクしきい値t）がモデル性能に与える影響は何か？
• RQ5 提案されたSiGCNフレームワークは、1-shotおよび5-shot設定下で、PASCAL-5iおよびCOCO-20iといった多様なベンチマークに効果的に一般化可能か？

主な発見

• SiGCNは、1-shot mIoUが65.3、5-shot mIoUが77.5を記録し、PASCAL-5iで最先端の性能を達成した。
• SiGRモジュールが性能向上に最も寄与しており、アブレーションスタディでは、ベースラインモデルに比べて顕著なmIoU向上が確認された。
• IAモジュールは不可欠であり、その削除により性能が低下した。これは、補完的な高次文脈を捉える役割を果たしていることを示している。
• 5つのサポートプロトタイプ（k=5）を用いることで最良の性能が得られ、プロトタイプの多様性とガイド品質の最適なバランスを示している。
• バックボーンとしてResNet-101を用いることで、1-shotで65.7 mIoUを達成し、VGG16やResNet-50を上回る優れた結果を得た。
• アブレーションでは、t=0.7が特徴的部位選択に最適なマスクしきい値であり、s=10が文脈モデリングに最適なインスタンスサイズであることが示された。

Figure 2: Overall architecture of our proposed network. Firstly, the feature embedding and matching network are introduced to generate support feature $x_{s}$ , query feature $x_{q}$ , middle-level activation map $A_{m}^{r}$ , and high-level activation map $A_{h}^{r}$ . Then, the support-induced gra