[論文レビュー] Few-Shot Class-Incremental Learning via Entropy-Regularized Data-Free Replay

Huan Liu, Li Gu+5 more|arXiv (Cornell University)|Jul 22, 2022

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

本稿では、実データを保存せずに、意思決定境界に配慮した不確実性の高い合成データを生成するエントロピー正則化を用いたデータフリー再プレイ手法を、少数ショット自己増強的継続的学習（FSCIL）に提案する。この手法により、実データを保存せずとも効果的な知識蒸留が可能となり、深刻な記憶の消失（catastrophic forgetting）を顕著に軽減するとともに、新規クラスへの迅速な適応が達成される。

ABSTRACT

Few-shot class-incremental learning (FSCIL) has been proposed aiming to enable a deep learning system to incrementally learn new classes with limited data. Recently, a pioneer claims that the commonly used replay-based method in class-incremental learning (CIL) is ineffective and thus not preferred for FSCIL. This has, if truth, a significant influence on the fields of FSCIL. In this paper, we show through empirical results that adopting the data replay is surprisingly favorable. However, storing and replaying old data can lead to a privacy concern. To address this issue, we alternatively propose using data-free replay that can synthesize data by a generator without accessing real data. In observing the the effectiveness of uncertain data for knowledge distillation, we impose entropy regularization in the generator training to encourage more uncertain examples. Moreover, we propose to relabel the generated data with one-hot-like labels. This modification allows the network to learn by solely minimizing the cross-entropy loss, which mitigates the problem of balancing different objectives in the conventional knowledge distillation approach. Finally, we show extensive experimental results and analysis on CIFAR-100, miniImageNet and CUB-200 to demonstrate the effectiveness of our proposed one.

研究の動機と目的

• データ再プレイがFSCIL、特に少数ショット条件下で効果的でないという一般的な見解に挑戦すること。
• 継続的学習における実データの保存と再プレイに伴うプライバシー懸念を解決すること。
• モデルの意思決定境界に近い高不確実性の合成データを生成することで、FSCILにおける知識蒸留の性能を向上させること。
• マルチオブジェクティブな蒸留を排除し、純粋な交差エントロピー最小化が可能な再ラベル化戦略に置き換えることで、学習を簡素化すること。
• エントロピー正則化を用いたデータフリー再プレイが、FSCILベンチマークで最先端の性能を達成できることを示すこと。

提案手法

• 実データにアクセスせずに、データフリー再プレイフレームワークを用いてランダムノイズから現実的でない画像を生成するジェネレータネットワークを学習する。
• ジェネレータの学習中にエントロピー正則化を適用し、予測の不確実性を最大化することで、モデルの意思決定境界に近いサンプルの生成を促進する。
• 生成されたデータにワンホットに類似したターゲットで再ラベル付けすることで、交差エントロピー損失による直接最適化が可能となり、知識蒸留と分類の目的をバランスさせる必要がなくなる。
• バックボーンネットワークを、実際の少数ショットデータと生成された合成データの両方を用いて微調整することで、適応性の向上と記憶の消失の軽減を図る。
• CIFAR-100、miniImageNet、CUB-200を用いたラベル分布解析とアブレーションスタディの組み合わせにより、本手法の有効性を評価する。
• アブレーションスタディでは、DeepInversionと比較して、生成と再プレイの両面で優れた性能と効率性を示している。

実験結果

リサーチクエスチョン

• RQ1 データの不均衡や過学習の懸念がある中で、FSCILにおいてもデータ再プレイが効果的に利用可能か？
• RQ2 ジェネレータにおけるエントロピー正則化は、FSCILにおける知識蒸留のための合成データの質と有用性を向上させるか？
• RQ3 ワンホットに類似したターゲットで生成データを再ラベル付けすることで、従来の知識蒸留と比較して学習が簡素化され、性能が向上するか？
• RQ4 DeepInversionのような既存のデータフリー生成手法と比較して、本手法のデータフリー再プレイはFSCIL環境でどのように性能を発揮するか？
• RQ5 FSCILにおける記憶の消失と適応のバランスを最適化するには、バッチあたりの生成サンプル数をいくつに設定すべきか？

主な発見

• 本手法はCIFAR-100で平均60.77%の精度を達成し、以前の最先端手法を1.66ポイント上回った。
• エントロピー正則化を適用することで、生成されたサンプルのうち少数ショットクラスに属する割合が、ベースラインのジェネレータと比較して20〜30%増加した。
• 最終精度が最も高く、記憶の消失の緩和効果も顕著であり、DeepInversion単体で使用した場合に比べ2.85%の向上を達成した。
• バッチあたりの再プレイサンプル数が実トレーニングサンプル数と一致する（例：CIFAR-100では1クラスあたり25個）際に性能がピークに達し、最適なバランスが実現されていることが示された。
• DeepInversionを本手法に置き換えることで、最終精度が1.66%向上し、生成と蒸留の両面で優れた効率性と有効性を示した。
• アブレーションスタディにより、バックボーンの微調整とデータフリー再プレイの組み合わせが性能を顕著に向上させることを確認した。これは、共同最適化の利点が顕著であることを示している。