[論文レビュー] Decomposed Knowledge Distillation for Class-Incremental Semantic Segmentation

Donghyeon Baek, Youngmin Oh+3 more|arXiv (Cornell University)|Oct 12, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、分解型知識蒸留（DKD）と知識伝達型分類器初期化手法を用いた、新たなクラス増分的セマンティックセグメンテーションフレームワークを提案する。DKDは、正例と負例の推論スコアを別々に保存することで、モデルの剛性を向上させる。一方、初期化手法は、負例に関する事前知識を活用し、新規クラスの学習を促進する。本手法は、標準ベンチマークで最先端の性能を達成した。

ABSTRACT

Class-incremental semantic segmentation (CISS) labels each pixel of an image with a corresponding object/stuff class continually. To this end, it is crucial to learn novel classes incrementally without forgetting previously learned knowledge. Current CISS methods typically use a knowledge distillation (KD) technique for preserving classifier logits, or freeze a feature extractor, to avoid the forgetting problem. The strong constraints, however, prevent learning discriminative features for novel classes. We introduce a CISS framework that alleviates the forgetting problem and facilitates learning novel classes effectively. We have found that a logit can be decomposed into two terms. They quantify how likely an input belongs to a particular class or not, providing a clue for a reasoning process of a model. The KD technique, in this context, preserves the sum of two terms (i.e., a class logit), suggesting that each could be changed and thus the KD does not imitate the reasoning process. To impose constraints on each term explicitly, we propose a new decomposed knowledge distillation (DKD) technique, improving the rigidity of a model and addressing the forgetting problem more effectively. We also introduce a novel initialization method to train new classifiers for novel classes. In CISS, the number of negative training samples for novel classes is not sufficient to discriminate old classes. To mitigate this, we propose to transfer knowledge of negatives to the classifiers successively using an auxiliary classifier, boosting the performance significantly. Experimental results on standard CISS benchmarks demonstrate the effectiveness of our framework.

研究の動機と目的

• モデルの剛性と柔軟性のバランスを取ることで、クラス増分的セマンティックセグメンテーション（CISS）における深刻な忘却を解消する。
• 特徴抽出器を固定するか、局所化検出器に依存する既存手法の限界を克服する。
• 増分学習における限られた負例を効果的に活用することで、新規クラスの一般化性能を向上させる。
• バックボーンを固定しないまま、増分ステップ間で推論の一貫性を維持する訓練パラダイムを構築する。

提案手法

• 知識蒸留の過程で、モデルのログティットを正例と負例の推論スコアに分解し、それぞれの変化を別々に制約する。
• 正例と負例の推論スコアを明示的に保存する分解型知識蒸留（DKD）を提案し、モデルの剛性を向上させる。
• 現在ステップのサンプルで訓練された補助分類器を用い、負例の事前知識としての役割を果たし、将来の新規クラス分類器の初期化に使用する。
• 個々の新規クラスに対して複数のバイナリクロスエントロピー（mBCE）項を用いることで、ソフトマックス由来の忘却を回避する。
• 特徴抽出器をエンドツーエンドで訓練することで、新規クラスのためのより良い特徴学習を可能にするとともに、DKDにより旧クラスの知識を維持する。
• DKDおよび初期化手法を、事前学習モデルを用いないまま、スクラッチから訓練されたモデルに適用することで、増分学習に適応した有効な手法を実現する。

実験結果

リサーチクエスチョン

• RQ1 ログティットを正例と負例の推論スコアに分解することで、クラス増分的セマンティックセグメンテーションにおける知識蒸留の効果が向上するか？
• RQ2 正例と負例の推論スコアを別々に保存することで、標準的な知識蒸留と比較してモデルの剛性がどのように向上するか？
• RQ3 負例に関する事前知識を効果的に伝達することで、新規クラスの分類器初期化が向上するか？
• RQ4 本手法は、バックボーンを固定するか、局所化検出器を用いる既存のCISSアプローチを上回るか？
• RQ5 本フレームワークは、深刻な忘却を防ぎつつ、旧クラスと新規クラスの両方で高い性能を維持できるか？

主な発見

• 提案されたDKD手法は、正例および負例の推論スコアの変化のL2ノルムを顕著に低減しており、安定性と剛性の向上を示している。
• DKDは、SSULで採用される特徴抽出器の固定と比較して、より高いmIoU_bスコアを達成しており、忘却の緩和がより効果的であることを示している。
• 提案された初期化手法は、市販の局所化検出器を一切使用しない状況でも、mIoU_nスコアを顕著に向上させた。
• 可視化結果から、本手法で初期化された分類器は、背景領域や旧クラスに対して誤検出をより効果的に抑制していることが示された。
• 完全なフレームワークは、標準CISSベンチマークで新たな最先端性能を達成し、ベースクラスおよび新規クラス両方の性能で顕著な向上を示した。
• 本手法は、計算コストの増加が最小限に抑えられており、実世界の増分学習に実用的である。