[論文レビュー] On the Effectiveness of Lipschitz-Driven Rehearsal in Continual Learning

Lorenzo Bonicelli, M. Boschini+3 more|arXiv (Cornell University)|Oct 12, 2022

Domain Adaptation and Few-Shot Learning被引用数 16

ひとこと要約

本稿では、継続的学習における決定境界の安定性を向上させるとともにバッファ過学習を軽減するため、ニューラルネットワークのレイヤーワイズ・リプシッツ定数を制約する正則化手法であるLipschitz-Driven Rehearsal（LiDER）を提案する。入力摂動に対するモデル応答の滑らかさを強制することで、LiDERは一般化性能を向上させ、CIFAR-10、CIFAR-100、Tiny-ImageNetの複数の最先端のリハーサル手法において、事前学習の有無にかかわらず一貫した性能向上を実現する。

ABSTRACT

Rehearsal approaches enjoy immense popularity with Continual Learning (CL) practitioners. These methods collect samples from previously encountered data distributions in a small memory buffer; subsequently, they repeatedly optimize on the latter to prevent catastrophic forgetting. This work draws attention to a hidden pitfall of this widespread practice: repeated optimization on a small pool of data inevitably leads to tight and unstable decision boundaries, which are a major hindrance to generalization. To address this issue, we propose Lipschitz-DrivEn Rehearsal (LiDER), a surrogate objective that induces smoothness in the backbone network by constraining its layer-wise Lipschitz constants w.r.t. replay examples. By means of extensive experiments, we show that applying LiDER delivers a stable performance gain to several state-of-the-art rehearsal CL methods across multiple datasets, both in the presence and absence of pre-training. Through additional ablative experiments, we highlight peculiar aspects of buffer overfitting in CL and better characterize the effect produced by LiDER. Code is available at https://github.com/aimagelab/LiDER

研究の動機と目的

• 継続的学習における小さなリプレイバッファでの過学習が引き起こす決定境界の不安定化という隠れた欠陥を是正すること。
• リプシッツ正則化によるモデル予測の滑らかさを強制することで、リハーサルベースの継続的学習における一般化性能と頑健性を向上させること。
• リプシッツ制約が多様なリハーサル手法やデータセットにおいて一貫して性能を向上させることの可能性を調査すること。
• バッファ過学習の影響を特定し、その負の影響を緩和するためのLiDERの有効性を示すこと。
• 既存のリハーサルフレームワークに容易に統合可能な実用的で即席の正則化手法を提供すること。

提案手法

• LiDERは、再現例に対するニューラルネットワークのレイヤーワイズ・リプシッツ定数を制約するための代替目的関数を導入する。
• 全結合層および畳み込み層に対してスペクトル正規化を用いてリプシッツ定数の上界を推定し、グローバルな1-リプシッツ性を強制する。
• モデルの出力が入力の単位変化に対して最大でどれほど変化するかを制限するため、損失関数にペナルティ項を追加することで正則化を訓練中に適用する。
• Experience Replay（ER）、DER++、ER-ACEを含むさまざまなリハーサル手法と互換性があり、事前学習の有無にかかわらず適用可能である。
• 標準的な正確度に加え、敵対的頑健性や最小値のヘッセ行列に基づく平坦性といった頑健性指標を用いて評価する。
• 除去的分析では、固定ターゲット最適化と比較し、ハイパーパramータの感度を分析することで、LiDERの優位性を確認する。

実験結果

リサーチクエスチョン

• RQ1 再現例にリプシッツ連続性を強制することで、継続的学習における決定境界の安定性と一般化性能が向上するか？
• RQ2 LiDERは固定ターゲット最適化戦略と比較して、性能および頑健性において優れているか？
• RQ3 LiDERは、バッファ過学習が決定境界に与える悪影響をどの程度軽減できるか？
• RQ4 アーキテクチャの変更なしに、LiDERはさまざまなリハーサル手法やデータセットに効果的に適用可能か？
• RQ5 LiDERは損失関数の平坦性および重み摂動に対する頑健性にどのような影響を与えるか？

主な発見

• LiDERは、CIFAR-10、CIFAR-100、Tiny-ImageNetの複数の最先端リハーサル手法において、事前学習の有無にかかわらず一貫して精度を向上させる。
• ヘッセ固有値の和を用いて測定したところ、LiDERはより平坦な最小値を達成しており、一般化性能の向上を示している。
• LiDERで訓練されたモデルは、ベースラインのリハーサル手法と比較して、重み摂動および敵対的攻撃に対して顕著に高い頑健性を示す。
• 除去的分析により、LiDERは固定ターゲット最適化戦略を上回ることが確認され、同様の性能向上を達成できないことが判明した。
• 決定境界の可視化により、LiDERは再現例の周囲で頑健性を維持している一方、ベースライン手法は時間経過とともに鋭く悪化する境界を示している。
• LiDERの効果は、過学習リスクが最も高い小規模なメモリバッファの状況で最も顕著に現れる。