[論文レビュー] ALIFE: Adaptive Logit Regularizer and Feature Replay for Incremental Semantic Segmentation

Youngmin Oh, Donghyeon Baek+1 more|arXiv (Cornell University)|Oct 13, 2022

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本稿では、危険な忘却を軽減するための適応的ロジット正則化（ALI）と、カテゴリ固有の回転行列を用いた特徴再現戦略を組み合わせることで、メモリ使用量を削減する、インクリメンタルセマンティックセグメンテーションのための新規手法ALIFEを提案する。ALIFEは、生画像の再現に依存せずに、正確性と効率性のバランスを効果的にとることで、標準ベンチマークで最先端の性能を達成する。

ABSTRACT

We address the problem of incremental semantic segmentation (ISS) recognizing novel object/stuff categories continually without forgetting previous ones that have been learned. The catastrophic forgetting problem is particularly severe in ISS, since pixel-level ground-truth labels are available only for the novel categories at training time. To address the problem, regularization-based methods exploit probability calibration techniques to learn semantic information from unlabeled pixels. While such techniques are effective, there is still a lack of theoretical understanding of them. Replay-based methods propose to memorize a small set of images for previous categories. They achieve state-of-the-art performance at the cost of large memory footprint. We propose in this paper a novel ISS method, dubbed ALIFE, that provides a better compromise between accuracy and efficiency. To this end, we first show an in-depth analysis on the calibration techniques to better understand the effects on ISS. Based on this, we then introduce an adaptive logit regularizer (ALI) that enables our model to better learn new categories, while retaining knowledge for previous ones. We also present a feature replay scheme that memorizes features, instead of images directly, in order to reduce memory requirements significantly. Since a feature extractor is changed continually, memorized features should also be updated at every incremental stage. To handle this, we introduce category-specific rotation matrices updating the features for each category separately. We demonstrate the effectiveness of our approach with extensive experiments on standard ISS benchmarks, and show that our method achieves a better trade-off in terms of accuracy and efficiency.

研究の動機と目的

• 新しいカテゴリの学習時に、以前に学習したカテゴリを忘れるインクリメンタルセマンティックセグメンテーション（ISS）における危険な忘却を解消すること。
• CCE や CKD のような確率補正技術の理論的深まりを提供することで、既存の正則化ベース手法を改善すること。
• 生画像の保存に代えて、カテゴリ固有の回転行列を用いた潜在特徴再現を採用することで、再現ベース手法におけるメモリオーバーヘッドを削減すること。
• 計算コストとストレージコストを最小限に抑えながら、旧カテゴリおよび新カテゴリの両方で高い正確性を維持する手法を開発すること。

提案手法

• トレーニング中にロジット値を動的に調整することで、新カテゴリへの過学習を軽減するとともに、過去のカテゴリの識別力の維持を図る、適応的ロジット正則化（ALI）を提案する。
• CCE および CKD 項の勾配を分析し、その限界を明らかにする：CCE は、予測の正誤にかかわらず、すべての過去カテゴリのロジットを無条件に増加させる。CKD は、新カテゴリとバックグラウンドカテゴリの区別を曇らせる。
• 生画像の代わりに潜在特徴を保存・更新する特徴再現メカニズムを導入し、メモリ使用量を顕著に削減する。
• 特徴抽出器の進化に伴い、各インクリメンタル段階でカテゴリ固有の回転行列をカイリー変換を用いて効率的に更新する。
• 知識蒸留（KD）を、ラベル付き領域のみに限定して適用することで、ラベルなし領域への重複したKDを回避し、性能の低下を防ぐ。
• ALI と特徴再現を統合したエンドツーエンドのトレーニング方式を採用し、モデルと再現された特徴の両方が段階的に更新されるようにする。

実験結果

リサーチクエスチョン

• RQ1 CCE や CKD のような既存の確率補正技術は、インクリメンタルセマンティックセグメンテーションにおける性能にどのように寄与するか、あるいは妨げるか？
• RQ2 学習したカテゴリと過去の知識の両方をよりよくバランスさせるための適応的ロジット正則化を設計可能か？
• RQ3 生画像の再現を潜在特徴再現に置き換えることで、性能を損なわせずにメモリ使用量を削減できるか？
• RQ4 カテゴリ固有の回転行列は、インクリメンタルトレーニングの各段階で特徴の一貫性を効果的に維持できるか？
• RQ5 mIoU および hIoU を最大化するための損失項（CE、ALI、KD）の最適な組み合わせは何か？

主な発見

• アブレーションスタディでは、交差エントロピー（CE）損失のみを用いると、ADE20K において mIoU が 14.19 まで低下し、深刻な危険な忘却が生じることが示された。
• ALI を単独で適用すると、PASCAL VOC 16-5(1) で mIoU が 62.50 まで向上し、忘却軽減の有効性が裏付けられた。
• KD をラベル付き領域でのみ適用すると、最高の性能（mIoU 71.31、hIoU 62.50）が得られ、ラベルなし領域への適用は性能を低下させた。
• ALI と特徴再現（1カテゴリあたり1K特徴）を併用することで、PASCAL VOC 16-5(1) で hIoU 64.57 を達成し、新たな最先端性能を樹立した。
• ALI と疑似ラベル化（All*）の組み合わせにより、ベースライン比で mIoU が 2.5 ポints 向上し、クラス不均衡の処理における有効性が示された。
• ALIFE は、ALIFE がより少ないメモリで使用しながら、mIoU および hIoU の両面で先行する再現ベース手法を上回る、優れた正確性-メモリトレードオフを達成した。