[論文レビュー] A Few Guidelines for Incremental Few-Shot Segmentation.

Fabio Cermelli, Massimiliano Mancini+3 more|arXiv (Cornell University)|Nov 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 6

ひとこと要約

本稿では、新規クラスの少数の画像に対して事前学習モデルを微調整することで、COCOおよびPascal-VOC 2012でSOTA性能を達成する、インクリメンタル少数ショットセマンティックセグメンテーションの新規アプローチを提案する。バッチ正規化のずれと深刻な忘却の問題に対処するため、バッチ再正規化と正則化を採用し、少数ショット設定や複数の学習エピソードにわたり一貫した性能向上を実現する。

ABSTRACT

Reducing the amount of supervision required by neural networks is especially important in the context of semantic segmentation, where collecting dense pixel-level annotations is particularly expensive. In this paper, we address this problem from a new perspective: Incremental Few-Shot Segmentation. In particular, given a pretrained segmentation model and few images containing novel classes, our goal is to learn to segment novel classes while retaining the ability to segment previously seen ones. In this context, we discover, against all beliefs, that fine-tuning the whole architecture with these few images is not only meaningful, but also very effective. We show how the main problems of end-to-end training in this scenario are i) the drift of the batch-normalization statistics toward novel classes that we can fix with batch renormalization and ii) the forgetting of old classes, that we can fix with regularization strategies. We summarize our findings with five guidelines that together consistently lead to the state of the art on the COCO and Pascal-VOC 2012 datasets, with different number of images per class and even with multiple learning episodes.

研究の動機と目的

• セマンティックセグメンテーションにおける高コストなピクセル単位のアノテーションの必要性を減らし、少数の例から新しいクラスを学習できるようにすること。
• インクリメンタル学習の文脈において、以前に学習済みのクラスの性能を維持しながら、新規クラスを学習する課題に対処すること。
• エンドツーエンドの微調整における2つの主要な問題に取り組むこと：バッチ正規化の統計が新規クラスの分布にずれることと、旧クラスの深刻な忘却が生じること。
• 異なる少数ショット設定（サポート画像の数の変動や複数の学習エピソードを含む）に耐えうる、堅牢で汎用性の高いフレームワークを構築すること。

提案手法

• 新規クラスごとに少数のアノテーション付き画像しか使用しないにもかかわらず、通常の仮定とは反して、全ネットワークをエンドツーエンドで微調整する。
• 訓練中にバッチ正規化の統計が新規クラスの分布にずれないように安定化させるために、バッチ再正規化を適用する。
• インクリメンタル学習中に以前に学習したクラスの性能が低下するのを抑えるために、正則化戦略を採用する。
• 複数の学習エピソードをサポートする訓練パイプラインを設計し、最小限の忘却で継続的な学習を可能にする。
• 微調整の初期化として事前学習済みのセグメンテーションモデルを活用し、少量のデータで新規クラスに迅速に適応可能にする。
• 新規クラスのセグメンテーション精度と旧クラスの性能維持の両方をバランスさせる統一された訓練目的関数を採用する。

実験結果

リサーチクエスチョン

• RQ1 新規クラスごとに少数の画像しか使用しないエンドツーエンドの全ネットワーク微調整が、インクリメンタル少数ショットセグメンテーションで強力な性能を達成できるか？
• RQ2 バッチ正規化の統計が新規クラスの統計にずれることでモデル性能がどの程度損なわれるか、そしてそのずれを効果的に緩和できるか？
• RQ3 最小限の教師信号のもとでインクリメンタル学習を行う際、以前に学習したクラスの深刻な忘却をどの程度軽減できるか？
• RQ4 統一された手法が、さまざまな少数ショット設定や複数の学習エピソードにおいて、標準ベンチマークで一貫した性能向上を達成できるか？

主な発見

• 新規クラスごとに少数の画像しか使用しない全ネットワーク微調整が、COCOおよびPascal-VOC 2012の両方でSOTA性能を達成する。
• バッチ再正規化がバッチ正規化の統計を安定化させ、訓練中に新規クラスの分布にずれることを効果的に防ぐ。
• 正則化戦略により深刻な忘却が顕著に軽減され、複数の学習エピソードにわたり、以前に学習済みのクラスの性能が維持される。
• バッチ再正規化と正則化の組み合わせにより、サポート画像の数の異なるさまざまな少数ショット設定で一貫した性能向上が実現される。
• 本手法は複数の学習エピソードにわたり良好に一般化され、最小限の教師信号のもとで継続的学習のシナリオにおいても堅牢性を示す。
• 提案されたガイドラインは、標準ベンチマークで先行手法を上回る効果的で信頼性の高いフレームワークを提供する。