[論文レビュー] Continual Learning with Guarantees via Weight Interval Constraints

Maciej Wołczyk, Karol J. Piczak+6 more|arXiv (Cornell University)|Jun 16, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、パラメータ空間におけるハイパーレクトンジンにニューラルネットワークの重みを制約することで、崩壊的忘却を保証する、継続的学習の新規なパラダイム、ハイパーレクトンジントレーニングを提案する。インターバル算術を用いたInterContiNetアルゴリズムにより、過去のタスクのパフォーマンスが保持されつつ、多項式時間の最適化が可能となり、経験再生を用いずに強力な忘却制御が達成される。

ABSTRACT

We introduce a new training paradigm that enforces interval constraints on neural network parameter space to control forgetting. Contemporary Continual Learning (CL) methods focus on training neural networks efficiently from a stream of data, while reducing the negative impact of catastrophic forgetting, yet they do not provide any firm guarantees that network performance will not deteriorate uncontrollably over time. In this work, we show how to put bounds on forgetting by reformulating continual learning of a model as a continual contraction of its parameter space. To that end, we propose Hyperrectangle Training, a new training methodology where each task is represented by a hyperrectangle in the parameter space, fully contained in the hyperrectangles of the previous tasks. This formulation reduces the NP-hard CL problem back to polynomial time while providing full resilience against forgetting. We validate our claim by developing InterContiNet (Interval Continual Learning) algorithm which leverages interval arithmetic to effectively model parameter regions as hyperrectangles. Through experimental results, we show that our approach performs well in a continual learning setup without storing data from previous tasks.

研究の動機と目的

• 既存の継続的学習手法における崩壊的忘却に対する形式的保証の欠如に対処すること。
• 有界なパrameter領域を用いた制約付き最適化問題として継続的学習を再定式化すること。
• 過去のデータを保存せずに、順次タスク間でパフォーマンス安定性を確保する実用的な訓練手法を開発すること。
• パrameter空間をハイパーレクトンジンに制限することで、NP困難な継続的学習問題を扱いやすくすること。
• インターバル制約が忘却を制御しつつ柔軟性を維持できることを理論的・実験的に示すこと。

提案手法

• 過去のタスクの有効解を表すハイパーレクトンジン内で、モデルのパラメータ空間を逐次収縮する形で継続的学習を定式化する。
• 線形、畳み込み、ReLU演算を含むニューラルネットワーク層を通過する際に境界を伝搬するため、インターバル算術を用いたInterContiNetというアルゴリズムを導入する。
• 損失関数の微分可能な上界を計算するためにインターバル算術を適用し、制約付きパラメータ領域内で勾配ベース最適化を可能にする。
• 各タスクでパラメータ領域を収縮させ、新しいハイパーレクトンジンが以前のものに完全に含まれるようにすることで、忘却制御を強制する。
• 評価にはインターバルの中心点を用いるが、最悪ケースの境界が、インターバル内すべての点でのパフォーマンスを保証する。
• 損失の上界を最小化する制約付き最適化目的関数を採用し、有効パラメータ領域全体にわたるロバスト性を確保する。

実験結果

リサーチクエスチョン

• RQ1 経験再生に依存せずに、継続的学習における崩壊的忘却に対する形式的保証を提供できるか？
• RQ2 パラメータ空間をハイパーレクトンジンに制限することで、NP困難な継続的学習問題を多項式時間に還元できるか？
• RQ3 インターバル算術は、深層ニューラルネットワークにおける順次タスクのパフォーマンス境界を維持するために効果的か？
• RQ4 硬いインターバル制約を用いることで、柔軟性の早期崩壊やソフト正則化よりも速い忘却が生じるか？
• RQ5 提案手法は、新しいタスクを効率的に学習しつつ、以前のタスクのパフォーマンスを維持できるか？

主な発見

• InterContiNetは、最も制限の厳しい設定でも新しいタスクを学習でき、インターバル制約が急速な柔軟性の崩壊を引き起こさないことを示している。
• 20タスクのスプリットCIFAR-100において、他のパラメータ正則化手法と同等のパフォーマンスを達成し、長時間にわたるタスク系列でも安定性を維持している。
• 厳密なインターバル制約下でも、モデルは新しいタスクを学習する能力を保持しており、通常の設定では有効なパラメータ空間が非退化していることが示唆される。
• 理論的分析により、ハイパーレクトンジン制約を用いることで問題が多項式時間に還元されることを確認し、計算的に取り扱いやすくなっている。
• 実験結果から、InterContiNetは、許容可能な重みの全区間においてパフォーマンスが境界づけられることを保証する硬い保証を提供していることが示された。
• 過去のデータを保存せずに、継続的学習ベンチマークにおいて最先端のベースラインを上回るか、同等の性能を達成している。