[論文レビュー] Tackling Catastrophic Forgetting and Background Shift in Continual Semantic Segmentation

Arthur Douillard, Yifu Chen+2 more|arXiv (Cornell University)|Jun 29, 2021

Domain Adaptation and Few-Shot Learning参考文献 105被引用数 11

ひとこと要約

本稿では、継続的セマンティックセグメンテーションにおける catastrophic forgetting とバックグラウンドシフトを解消するための新規手法 PLOP を提案する。Local POD（マルチスケール特徴蒸留）とエントロピーに基づく偽ラベル化を用い、バックグラウンドに存在する旧クラスのピクセルを回復する。さらに、メモリ効率の良いリハーより手法である Object Rehearsal を導入し、複数のベンチマークで最先端の性能を達成し、長期学習と耐性の両面で顕著な向上を示した。

ABSTRACT

Deep learning approaches are nowadays ubiquitously used to tackle computer vision tasks such as semantic segmentation, requiring large datasets and substantial computational power. Continual learning for semantic segmentation (CSS) is an emerging trend that consists in updating an old model by sequentially adding new classes. However, continual learning methods are usually prone to catastrophic forgetting. This issue is further aggravated in CSS where, at each step, old classes from previous iterations are collapsed into the background. In this paper, we propose Local POD, a multi-scale pooling distillation scheme that preserves long- and short-range spatial relationships at feature level. Furthermore, we design an entropy-based pseudo-labelling of the background w.r.t. classes predicted by the old model to deal with background shift and avoid catastrophic forgetting of the old classes. Finally, we introduce a novel rehearsal method that is particularly suited for segmentation. Our approach, called PLOP, significantly outperforms state-of-the-art methods in existing CSS scenarios, as well as in newly proposed challenging benchmarks.

研究の動機と目的

• 継続的セマンティックセグメンテーション（CSS）における catastrophic forgetting を解消すること。これは、新しいクラスを学習する際、以前に学習したクラスの知識を急速に失う現象である。
• CSS の特有の課題であるバックグラウンドシフトを軽減すること。バックグラウンドクラスが次第に旧クラスや将来のクラスを含むようになり、モデルの学習を歪める。
• ピクセルレベルのセグメンテーションに適した、メモリ効率の良いリハーサル戦略を設計すること。これは、完全な画像のリプレイに伴う高コストなストレージを克服するためである。
• コサイン正規化や改変されたバッチ正規化といった構造的変更を導入することで、継続的学習における長期的性能を向上させること。
• 継続的学習における長期一般化、クラス順序感受性、ドメインシフトの評価をより的確に行うために、新たなベンチマークを提案すること。

提案手法

• 旧モデルと新モデルの特徴マップ間で長距離および短距離の空間的関係を保持するための、マルチスケールプーリング蒸留機構である Local POD を導入する。
• バックグラウンド内に存在する旧クラスのピクセルを特定・回復するため、エントロピーに基づく偽ラベル化損失を設計する。これにより、本物のバックグラウンドと以前に学習したクラスとの混同を低減する。
• 分類器にコサイン正規化と改変されたバッチ正規化を導入した、PLOP の拡張版である PLOPLong を提案する。これにより、タスク間の統計的シフトに対する耐性が向上する。
• 過去のデータからセグメンテーション済みのオブジェクトのみを保存・再再生する、新規なリハーサル手法である Object Rehearsal を開発する。これにより、完全な画像リプレイに比べてメモリ使用量を大幅に削減できる。
• 偽ラベル化とリハーサル学習を補完的戦略として統合する。偽ラベル化はバックグラウンドにおけるクラスの曖昧さを処理するが、リハーサルは直接的な経験再再生を提供する。
• 特徴レベルの制約を用いた知識蒸留により、継続的学習の各ステップでモデルの一貫性を維持し、柔軟性と剛性のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 過去のデータセットを完全に保存せずに、継続的セマンティックセグメンテーションにおける catastrophic forgetting を効果的に軽減する方法は何か？
• RQ2 バックグラウンドクラスに旧クラスや将来のクラスが含まれるバックグラウンドシフトが、忘却をどの程度悪化させるのか。また、その是正法は何か？
• RQ3 リハーサル学習はセマンティックセグメンテーションに効果的に適応可能か？また、性能を維持しつつ、最もメモリ効率の良いリハーサルの形態は何か？
• RQ4 コサイン正規化やバッチ正規化の適応といった構造的変更は、継続的学習シナリオにおける長期的性能をどのように向上させるか？
• RQ5 継続的セマンティックセグメンテーションにおける長期一般化と耐性を的確に評価するには、どのような新規ベンチマークが必要か？

主な発見

• PLOP は、すべての標準的な CSS ベンチマークで最先端の性能を達成し、平均交差率（mIoU）の観点から、既存手法を顕著に上回った。
• PLOPLong と Object Rehearsal の組み合わせにより、境界が明瞭で精度の高いセグメンテーションマスクが得られ、特に長期シナリオにおいて、すべてのベースラインを上回った。
• Object Rehearsal は、完全な画像リプレイに比べてメモリ使用量を最大 90% 削減しながら、性能を維持または向上させた。これにより、実世界への展開が現実的になった。
• エントロピーに基づく偽ラベル化損失は、旧クラスのピクセルをバックグラウンドから効果的に回復させ、旧クラスが現在のデータに明示的に存在しない場合でも、忘却を低減した。
• アブレーションスタディの結果、Local POD と偽ラベル化の両方が性能向上に寄与しており、その組み合わせが最も堅牢な結果をもたらした。
• 提案されたベンチマークは、クラス順序とドメインシフトがモデル性能に強い影響を与えることを明らかにした。PLOPLong と Object Rehearsal の組み合わせは、これらの条件下でも優れた耐性を示した。