[論文レビュー] Exploring Example Influence in Continual Learning

Qing Sun, Fan Lyu+3 more|arXiv (Cornell University)|Sep 25, 2022

Domain Adaptation and Few-Shot Learning被引用数 15

ひとこと要約

本稿では、ヘシアンの逆行列を計算せずに影響関数をシミュレートすることで、 continual learning における安定性（S）と柔軟性（P）に対する例の影響を計算するメタラーニング手法 MetaSP を提案する。S と P の両方に配慮した影響を二重目的最適化により統合し、SP パレート最適性を達成することで、モデル更新とリハーサル選択を改善し、タスクインクリメンタルおよびクラスインクリメンタルのベンチマークで最先端の手法を上回る性能を達成する。

ABSTRACT

Continual Learning (CL) sequentially learns new tasks like human beings, with the goal to achieve better Stability (S, remembering past tasks) and Plasticity (P, adapting to new tasks). Due to the fact that past training data is not available, it is valuable to explore the influence difference on S and P among training examples, which may improve the learning pattern towards better SP. Inspired by Influence Function (IF), we first study example influence via adding perturbation to example weight and computing the influence derivation. To avoid the storage and calculation burden of Hessian inverse in neural networks, we propose a simple yet effective MetaSP algorithm to simulate the two key steps in the computation of IF and obtain the S- and P-aware example influence. Moreover, we propose to fuse two kinds of example influence by solving a dual-objective optimization problem, and obtain a fused influence towards SP Pareto optimality. The fused influence can be used to control the update of model and optimize the storage of rehearsal. Empirical results show that our algorithm significantly outperforms state-of-the-art methods on both task- and class-incremental benchmark CL datasets.

研究の動機と目的

• 個々の学習例が continual learning における安定性（S）と柔軟性（P）にどのように異なる影響を与えるかを調査すること。
• ニューラルネットワークにおけるヘシアンの逆行列計算を避けることで、従来の影響関数の計算負荷を軽減すること。
• S と P の両方に配慮した例の影響を統合し、SP パレート最適性を達成する手法を開発することにより、 continual learning の性能を向上させること。
• 統合された影響を用いてモデル更新を制御し、リハーサルメモリ選択を最適化すること。

提案手法

• MetaSP は、例レベルの摂動を用いた擬似更新により、ヘシアンの逆行列を計算せずに影響を推定する。
• 見たことがあるデータからサンプリングした2つの検証セットを用いて、摂動の勾配を計算することで、S と P の両方に配慮した影響スコアを導出する。
• S と P の影響をバランスさせる二重目的最適化（DOO）問題を定式化し、MGDA アルゴリズムを用いて SP パレート最適解を達成する。
• 統合された影響を用いて各例の損失更新に重みを付けることで、影響に配慮したモデル学習を可能にする。
• 固定されたメモリ予算下で、SP 影響が高く正の影響を持つ例を優先することで、リハーサル選択を支援する。
• 効率性を高めるために、MetaSP の使用を最終学習エポックに限定する。

実験結果

リサーチクエスチョン

• RQ1 個々の学習例は、 continual learning における安定性と柔軟性にどのように異なる寄与をしているのか？
• RQ2 深層ネットワークにおけるヘシアン行列の逆行列を計算せずに、S と P に対する例の影響を効率的に推定できるか？
• RQ3 S と P の影響を最適にトレードオフすることで、バランスの取れたパレート最適な学習パターンを達成できるか？
• RQ4 統合された例の影響は、 continual learning におけるモデル更新とリハーサルメモリ選択を改善できるか？

主な発見

• MetaSP は、タスクインクリメンタルおよびクラスインクリメンタルの continual learning ベンチマークにおいて、最先端の手法を著しく上回り、安定性が向上し、柔軟性の安定性も向上した。
• MetaSP の使用をたった 5 エポックに限定するだけで、訓練時間を短縮しながらも高い精度を維持し、性能が向上した。
• 実験結果から、多くの旧タスクの例は安定性に正の影響を与えるが、柔軟性には負の影響を与えることが明らかになった。一方、新タスクの例は逆の傾向を示した。
• リハーサルメモリに含まれる大多数の例は、SP における正の総合的影響を持つことが示され、影響に基づく選択が知識の効果的保持に寄与していることがわかった。
• DOO を用いた統合された影響は、S または P の両方に配慮した影響を個別に用いるよりも、よりバランスの取れた SP トレードオフを達成しており、SP パレートフロントに近づいている。
• 本手法は、例の影響を用いてモデル更新とリハーサル選択を両方制御できることを示しており、全体的な continual learning の性能向上に寄与している。