[論文レビュー] Half-Real Half-Fake Distillation for Class-Incremental Semantic Segmentation

Zilong Huang, Wentian Hao+5 more|arXiv (Cornell University)|Apr 2, 2021

Domain Adaptation and Few-Shot Learning参考文献 53被引用数 9

ひとこと要約

本論文は、画像レベルのラベルとスケールに敏感なアグリゲーションモジュールを用いて、ランダムノイズから訓練済みのセマンティックセグメンテーションモデルを逆方向に処理することで、古くからのクラスのための合成画像を生成する新規手法であるSegInversionを用いる、半分本物で半分偽物の蒸留（HRHF）を提案する。本手法は、新規クラスの本物データと古きクラスの偽物データを組み合わせた蒸留フレームワークを採用することで、継続的学習における深刻な忘れの問題を顕著に軽減し、PASCAL VOC 2012およびADE20Kで最先端の性能を達成する。

ABSTRACT

Despite their success for semantic segmentation, convolutional neural networks are ill-equipped for incremental learning, \ie, adapting the original segmentation model as new classes are available but the initial training data is not retained. Actually, they are vulnerable to catastrophic forgetting problem. We try to address this issue by "inverting" the trained segmentation network to synthesize input images starting from random noise. To avoid setting detailed pixel-wise segmentation maps as the supervision manually, we propose the SegInversion to synthesize images using the image-level labels. To increase the diversity of synthetic images, the Scale-Aware Aggregation module is integrated into SegInversion for controlling the scale (the number of pixels) of synthetic objects. Along with real images of new classes, the synthesized images will be fed into the distillation-based framework to train the new segmentation model which retains the information about previously learned classes, whilst updating the current model to learn the new ones. The proposed method significantly outperforms other incremental learning methods and obtains state-of-the-art performance on the PASCAL VOC 2012 and ADE20K datasets. The code and models will be made publicly available.

研究の動機と目的

• 事前学習データが利用できない状況下で、クラス増分的セマンティックセグメンテーションにおける深刻な忘れの問題を解決すること。
• 増分学習の過程で古きクラスのサンプルが不足する課題を克服すること。
• ピクセル単位の教師信号を必要とせず、事前学習済みセグメンテーションモデルから多様でクラス条件付きの合成画像を生成する手法を開発すること。
• 新規モデルへの知識伝達を効果的に行うため、本物の新クラスデータと合成された古きクラスデータの両方を用いた蒸留フレームワークを設計すること。
• データ効率的かつ一般化性能を高めながら、新しいクラスを学習する際の以前に学習したクラスの保持性能を向上させること。

提案手法

• 訓練済みセグメンテーションモデルをランダムノイズから画像レベルのラベルを監視信号として用いて逆方向に処理することで、クラス条件付きの合成画像を生成する手法であるSegInversionを提案する。
• 生成されたオブジェクトのスケール（ピクセル数）を制御できるように、分類スコアに特徴をアグリゲートするスケールに敏感なアグリゲーション（SAA）モジュールを導入する。
• SAAモジュールを用いて画像生成中にオブジェクトスケールを動的に調整し、生成された偽物データの多様性を向上させる。
• 新規クラスの本物画像と古きクラスの合成画像を組み合わせた蒸留ベースの学習プロセスを採用する、半分本物で半分偽物の蒸留（HRHF）フレームワークを設計する。
• セグメンテーション損失と蒸留損失の両方を適用することで、新規クラスを学習しながらも古きクラスの知識を保持する。
• オブジェクトスケールを制御するため、集約温度rを{0.5, 1, 5, 10, 20}からランダムにサンプリングする。これにより、合成データの一般化性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みセグメンテーションモデルから生成された合成データが、クラス増分的セマンティックセグメンテーションにおける深刻な忘れの問題を効果的に軽減できるか？
• RQ2 ピクセル単位のアノテーションを必要とせず、古きクラスの多様でクラス条件付きの合成画像をどのように生成できるか？
• RQ3 蒸留ベースの増分学習フレームワークにおいて、本物データと合成データの最適なバランスは何か？
• RQ4 学習可能なアグリゲーション機構を用いて生成オブジェクトのスケールを制御することで、合成データの品質と多様性が向上するか？
• RQ5 新規クラスの本物データと古きクラスの合成データを蒸留フレームワークに組み合わせることで、古きクラスおよび新規クラスの両方の性能が向上するか？

主な発見

• HRHFは、PASCAL VOC 2012で、さまざまな増分学習設定において最先端の性能を達成した。
• ADE20Kの100-50設定において、強力なベースラインであるMiBより全体性能が1.2%向上した。
• ADE20Kのより困難な100-10設定において、MiBより性能が4.3%向上した。これは、データ制限下でも高いロバスト性を示している。
• ADE20Kの3段階の50-50設定において、HRHFは最良の結果を達成し、ベースライン比で全体性能を6.3%向上させた。
• アブレーションスタディの結果、蒸留損失が古きクラスの性能向上に顕著に寄与しており、本物データと偽物データの1:1の比率が最適であることが確認された。
• SAAモジュールでrの値を固定値からランダムに選択することで、固定値よりも性能が向上した。これは、スケールの多様性が合成データの一般化性能を向上させることを示している。