[論文レビュー] Mining Unseen Classes via Regional Objectness: A Simple Baseline for Incremental Segmentation

Zekang Zhang, Guangyu Gao+3 more|arXiv (Cornell University)|Nov 13, 2022

Multimodal Machine Learning Applications被引用数 12

ひとこと要約

本稿では、領域的オブジェクトネスを用いて未学習クラスをマイニングすることで、崩壊的忘却とバックグラウンドシフトを緩和する、クラス増分セマンティックセグメンテーションのシンプルだが効果的なベースラインであるMicroSegを提案する。画像からセグメンテーション候補を生成し、高いオブジェクトネスを示すバックグラウンド領域をクラスタリングして未学習クラス（歴史的または将来のクラス）とし、対照的損失を用いて再割り当てする。Pascal VOCおよびADE20Kで最先端性能を達成し、ベースライン比で13.8%のmIoU向上を達成した。

ABSTRACT

Incremental or continual learning has been extensively studied for image classification tasks to alleviate catastrophic forgetting, a phenomenon that earlier learned knowledge is forgotten when learning new concepts. For class incremental semantic segmentation, such a phenomenon often becomes much worse due to the background shift, i.e., some concepts learned at previous stages are assigned to the background class at the current training stage, therefore, significantly reducing the performance of these old concepts. To address this issue, we propose a simple yet effective method in this paper, named Mining unseen Classes via Regional Objectness for Segmentation (MicroSeg). Our MicroSeg is based on the assumption that background regions with strong objectness possibly belong to those concepts in the historical or future stages. Therefore, to avoid forgetting old knowledge at the current training stage, our MicroSeg first splits the given image into hundreds of segment proposals with a proposal generator. Those segment proposals with strong objectness from the background are then clustered and assigned newly-defined labels during the optimization. In this way, the distribution characterizes of old concepts in the feature space could be better perceived, relieving the catastrophic forgetting caused by the background shift accordingly. Extensive experiments on Pascal VOC and ADE20K datasets show competitive results with state-of-the-art, well validating the effectiveness of the proposed MicroSeg.

研究の動機と目的

• 古いクラスおよび将来のクラスが背景として誤分類される、クラス増分セマンティックセグメンテーション（CISS）における崩壊的忘却とバックグラウンドシフトを解消すること。
• 高オブジェクトネスを示すバックグラウンド領域に現れる未学習クラスを特定・モデル化することで、長期間学習におけるモデルの安定性と柔軟性を向上させること。
• 将来のクラスに関する事前知識が不要な、多様な未学習カテゴリに一般化可能なシンプルで効果的なベースラインを構築すること。
• 多くの未学習領域を逃す傾向があるサリエンシー検出に依存するのを減らすために、包括的なカバーを実現するための密なセグメンテーション候補を用いること。

提案手法

• プロポーザル生成器が入力画像を数百のクラスに依存しないセグメンテーション候補に分割し、強いオブジェクトネスを持つ領域を強調する。
• バックグラウンドからの高オブジェクトネスプロポーザルをクラスタリングし、マイクロメカニズムを用いて未学習クラス（歴史的または将来のクラス）として再モデル化する。
• プロポーザルベースのマスク分類ヘッドが各プロポーザルに現在のクラスおよび未学習クラスのラベルを割り当て、統合最適化を可能にする。
• 複数のサブクラスを明示的に定義し、対照的損失を用いてクラスタリングすることで、緩い将来カテゴリ内の特徴多様性を捉える。
• 密な予測ブランチは最初の学習ステップでのみ使用され、ベースクラスの特徴学習を向上させ、再モデル化された疑似ラベルの信頼性を高める。
• 現在のクラスと再モデル化された未学習クラスの両方を同時に最適化することで、一般化性能を向上させ、バックグラウンドシフトを低減する。

実験結果

リサーチクエスチョン

• RQ1 クラス増分セマンティックセグメンテーションにおいて、領域的オブジェクトネスを活用して未学習クラスを発見・モデル化することは可能か？
• RQ2 歴史的および将来のクラスが背景として誤分類される原因となるバックグラウンドシフトは、どのように効果的に緩和できるか？
• RQ3 増分学習中に多様で未学習のカテゴリを捉える際、サリエンシーに基づく手法に比べてプロポーザルベースのアプローチが優れているか？
• RQ4 マイクロメカニズムは、ステップ数が増加する長期的な増分学習において、どの程度性能を向上させるか？
• RQ5 複雑なアーキテクチャの変更を要せず、シンプルで統一的なフレームワークが最先端の結果を達成できるか？

主な発見

• MicroSegはVOC 15-1ベンチマークでベースライン比13.8%のmIoU向上を達成し、ベースクラスでは80.1%、新規クラスでは36.8%のmIoUを達成した。
• 提案されたマイクロメカニズム単体でも、ベースライン比でmIoUが9.9%向上し、バックグラウンドシフトの影響を顕著に低減した。
• プロポーザル分類とマイクロメカニズムの組み合わせが最良のパフォーマンスをもたらし、安定性と柔軟性の相補的利点を示した。
• ハイパーパramータの選択に強く依存せず、K（将来クラス数）およびτ（ラベル再モデル化の閾値）の異なる値に対しても、性能低下が最小限に抑えられた。
• MicroSeg-Mは、SSULなどの先行SOTA手法を、特に性能低下が顕著になる長期的状況においても、全ステップで上回った。
• ステップt=1での密な予測ブランチの導入により、ベースクラスの学習が向上し、その結果として再モデル化された疑似ラベルの信頼性が向上し、新規クラスのパフォーマンスが向上した。