[論文レビュー] Generalized Few-shot Semantic Segmentation

Zhuotao Tian, Xin Lai+5 more|arXiv (Cornell University)|Oct 11, 2020

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、推論時におけるサポート画像を必要とせず、同時にベースクラスと新規クラスのセグメンテーションを評価する新しいベンチマークである一般化少数ショットセマンティックセグメンテーション（GFS-Seg）を導入する。また、共起事前知識とクエリ依存適応を用いて文脈を動的に豊かにし、特徴の整合性を向上させる文脈に配慮したプロトタイプ学習（CAPL）を提案。構造的変更を最小限に抑えつつ、GFS-Segおよび標準的なFS-Segベンチマークで最先端の性能を達成する。

ABSTRACT

Training semantic segmentation models requires a large amount of finely annotated data, making it hard to quickly adapt to novel classes not satisfying this condition. Few-Shot Segmentation (FS-Seg) tackles this problem with many constraints. In this paper, we introduce a new benchmark, called Generalized Few-Shot Semantic Segmentation (GFS-Seg), to analyze the generalization ability of simultaneously segmenting the novel categories with very few examples and the base categories with sufficient examples. It is the first study showing that previous representative state-of-the-art FS-Seg methods fall short in GFS-Seg and the performance discrepancy mainly comes from the constrained setting of FS-Seg. To make GFS-Seg tractable, we set up a GFS-Seg baseline that achieves decent performance without structural change on the original model. Then, since context is essential for semantic segmentation, we propose the Context-Aware Prototype Learning (CAPL) that significantly improves performance by 1) leveraging the co-occurrence prior knowledge from support samples, and 2) dynamically enriching contextual information to the classifier, conditioned on the content of each query image. Both two contributions are experimentally shown to have substantial practical merit. Extensive experiments on Pascal-VOC and COCO manifest the effectiveness of CAPL, and CAPL generalizes well to FS-Seg by achieving competitive performance. Code is available at https://github.com/dvlab-research/GFS-Seg.

研究の動機と目的

• 少数ショットセグメンテーション（FS-Seg）の実用的制限、すなわち推論時にサポート画像を必要とし、ベースクラスを同時に処理できないという点を解決すること。
• 推論時にサポート入力を必要とせず、ベースクラスと新規クラスの両方を評価する新しいベンチマーク、一般化少数ショットセグメンテーション（GFS-Seg）を提案すること。
• 最先端のFS-Seg手法がGFS-Seg設定で失敗する理由を、過度に制限された仮定に起因することを分析すること。
• 構造的変更を最小限に抑えつつ、GFS-Segおよび標準的なFS-Segの両方で性能を向上させる汎用的メソッド、文脈に配慮したプロトタイプ学習（CAPL）を開発すること。

提案手法

• 推論時にサポート入力なしにベースクラスと新規クラスを同時に評価するための、三段階パイプライン（ベースクラス学習、少数ショットサポートサンプルを用いた新規クラス登録、共同評価）を提案。
• 元のアーキテクチャを維持し、新規クラス登録フェーズを追加するのみのGFS-Seg用ベースラインモデルを提案。
• サポートサンプルからの共起事前知識を活用して特徴の整合性を向上させる文脈に配慮したプロトタイプ学習（CAPL）を設計。
• 可学習な2層MLPを用いて、クエリ画像の内容に基づいて動的にベースプロトタイプを精緻化する文脈に配慮したガンマベクトルを生成。
• 推論時に、クエリ依存の特徴を用いて分類器の重みを動的に調整することで、文脈の豊かさを向上。
• PANet、PFENet、DeepLabなどの既存のセマンティックセグメンテーションモデルに、構造的変更なしにCAPLを統合。

実験結果

リサーチクエスチョン

• RQ1 なぜ最先端の少数ショットセグメンテーション（FS-Seg）モデルが一般化少数ショット設定（GFS-Seg）で失敗するのか？
• RQ2 推論時にサポートサンプルを必要とせず、ベースクラスと新規クラスを同時に効果的にセグメンテーションできる統合型モデルは可能か？
• RQ3 サポートサンプルおよびクエリ画像からの文脈的情報をどのように活用することで、少数ショットセグメンテーションにおけるプロトタイプ学習を改善できるか？
• RQ4 動的でクエリ依存のプロトタイプ適応は、GFS-Segおよび標準的なFS-Segの両方でどの程度性能向上に寄与するか？
• RQ5 CAPLのような手法は、アーキテクチャの再設計なしに、異なるバックボーンアーキテクチャやデータセットに一般化可能か？

主な発見

• 提案されたGFS-Segベンチマークは、最近のSOTA FS-Segモデルですら、設計上の本質的制限により一般化設定では著しく性能を発揮しないことが明らかになった。
• Pascal-VOC 5-shotでは1.5–2.5 mIoU、COCO-20 i 5-shotでは1.5–2.0 mIoUの向上を達成し、顕著な性能向上を示した。
• COCO-20 iでは、Res-101バックボーンを用いて1ショットで47.3 mIoU、5ショットで50.4 mIoUを達成し、先行手法を上回った。
• 標準的なFS-Seg設定では、PFENetに対して1ショットで2.5 mIoU、5ショットで2.1 mIoUの向上を達成し、最先端の性能を実現した。
• アブレーションスタディにより、トレーニング時の整合性（CAPL-Tr）と文脈の豊かさ（CAPL-Te）の両方が不可欠であり、併用することで最良の結果が得られることを確認した。
• CAPLは、ResNet-50やResNet-101を含むさまざまなモデルやバックボーンに良好に一般化され、元のモデルとほぼ同等の推論速度を維持した。