[論文レビュー] IF2Net: Innately Forgetting-Free Networks for Continual Learning

D. Li, Tianqi Wang+4 more|arXiv (Cornell University)|Jun 18, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用数 3

ひとこと要約

IF2Net は、タスク固有の重みを固定し、ランダム化に基づく表現補正と直交化に基づく出力適応を用いることで、先天的な忘れなしある継続的学習フレームワークを提案する。この手法により、1つのネットワークが記憶や計算コストを最小限に抑えつつ、忘却を伴わずに無制限のタスクを学習可能となり、安定性と汎化性能において既存手法を上回る。

ABSTRACT

Continual learning can incrementally absorb new concepts without interfering with previously learned knowledge. Motivated by the characteristics of neural networks, in which information is stored in weights on connections, we investigated how to design an Innately Forgetting-Free Network (IF2Net) for continual learning context. This study proposed a straightforward yet effective learning paradigm by ingeniously keeping the weights relative to each seen task untouched before and after learning a new task. We first presented the novel representation-level learning on task sequences with random weights. This technique refers to tweaking the drifted representations caused by randomization back to their separate task-optimal working states, but the involved weights are frozen and reused (opposite to well-known layer-wise updates of weights). Then, sequential decision-making without forgetting can be achieved by projecting the output weight updates into the parsimonious orthogonal space, making the adaptations not disturb old knowledge while maintaining model plasticity. IF2Net allows a single network to inherently learn unlimited mapping rules without telling task identities at test time by integrating the respective strengths of randomization and orthogonalization. We validated the effectiveness of our approach in the extensive theoretical analysis and empirical study.

研究の動機と目的

• 再帰的学習における深刻な忘却を解消するため、リプレイや正則化といった外部メカニズムを用いずに、事前に学習した知識を本質的に保持するネットワークの設計を目的とする。
• 重みの更新やエクemplarバッファ、動的アーキテクチャ拡張に依存する既存手法の限界を克服することを目的とする。
• モデルの柔軟性を維持しつつ、無制限のタスク列にわたる知識保持を保証する、シンプルでスケーラブルかつメモリ効率の良いフレームワークの開発を目的とする。
• 出力層の重みのみを更新する学習パラダイムが、理論的および実験的にどのように機能するかを検証することを目的とする。

提案手法

• ランダム重みを用いた表現レベルの学習により、ランダム化によって生じる表現のズレを補正し、元の重みを更新せずにタスク最適状態に回復する。
• 出力重みの更新に、簡素な直交空間射影を採用し、新たな適応が以前に学習した知識に干渉しないように保証する。
• 初期タスク学習後にすべての隠れ層重みを固定することで、パラメータの上書きを回避し、深刻な忘却を防ぐ。
• 表現補正段階でランダム初期化の代わりに解析的初期化を適用し、一般化性能と安定性を向上させる。
• 意思決定の柔軟性を維持しつつ、古い知識を保存するため、最終出力層にのみ直交化を適用する。
• 固定層を通り抜ける誤差逆伝播を回避することで、計算コストを低減し、効率的な順次学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 継続的学習の全過程でタスク固有の重みを固定することで、神経ネットワークが先天的に忘却を回避できるように設計できるか？
• RQ2 ランダム化によって生じる表現のズレは、元の重みを更新せずにどのように補正できるか？
• RQ3 一部の層にのみ直交化を適用した場合、継続的学習における一般化性能と忘却にどのような影響を与えるか？
• RQ4 明示的なメモリやアーキテクチャ拡張なしに、1つのネットワークが無制限のタスクを学習できるか？
• RQ5 ランダム化と直交化の組み合わせは、既存の継続的学習手法と比較して、安定性と一般化性能においてどのように差をつけるか？

主な発見

• IF2Net は、FashionMNIST-10/5 で唯一の直交化出力層を用いて 95.26% ± 0.0088 の精度を達成し、他の構成やベースライン手法を上回った。
• 逆転移（BWT）は -0.0071 ± 0.0060 に、前向き転移（FWT）は -0.0289 ± 0.0173 にまで低下し、負の干渉が最小限で、強い安定性を示した。
• Rademacher複雑度を用いた一般化境界誤差の測定において、解析的初期化（ケース e）を用いた IF2Net が最も遅く増加し、優れた一般化能力を示した。
• GPUメモリ使用量は、直交化層を1つにした場合に 829 MB まで低下し、より多くの直交化層を有する構成と比較して高い効率性を示した。
• ランダム初期化（ケース d）では 90.90% ± 0.0201 の精度にとどまったのに対し、解析的初期化では 95.26% ± 0.0088 に達したため、表現補正段階における解析的初期化の有効性が実証された。
• 理論的分析により、表現近似の収束と意思決定における忘れなしな学習が確認され、本手法の堅牢性が裏付けられた。