[論文レビュー] Generalisation Guarantees for Continual Learning with Orthogonal Gradient Descent

Mehdi Bennani, Thang Doan+1 more|arXiv (Cornell University)|Jun 21, 2020

Domain Adaptation and Few-Shot Learning被引用数 13

ひとこと要約

この論文は、ニューラルタングエント・カーネル（NTK）領域において、連続的学習における確率的勾配降下法（SGD）および直交勾配降下法（OGD）の一般化境界を初めて確立した。OGDが任意のタスクに対して災害的忘却に対して頑健であることを証明し、NTK空間におけるタスク類似度に依存する一般化境界を導出する一方で、過剰パラメータ化でない設定におけるNTKの変動が引き起こす限界も特定している。

ABSTRACT

In Continual Learning settings, deep neural networks are prone to Catastrophic Forgetting. Orthogonal Gradient Descent was proposed to tackle the challenge. However, no theoretical guarantees have been proven yet. We present a theoretical framework to study Continual Learning algorithms in the Neural Tangent Kernel regime. This framework comprises closed form expression of the model through tasks and proxies for Transfer Learning, generalisation and tasks similarity. In this framework, we prove that OGD is robust to Catastrophic Forgetting then derive the first generalisation bound for SGD and OGD for Continual Learning. Finally, we study the limits of this framework in practice for OGD and highlight the importance of the Neural Tangent Kernel variation for Continual Learning with OGD.

研究の動機と目的

• ニューラルタングエント・カーネル（NTK）領域における連続的学習アルゴリズムを理論的に分析するフレームワークを構築すること。
• 無限の記憶を持つ条件下で、直交勾配降下法（OGD）が任意の数のタスクに対して災害的忘却に対して頑健であることを証明すること。
• 連続的学習におけるSGDおよびOGDの最初の一般化境界を導出し、NTK空間におけるタスク類似度に依存することを示すこと。
• NTKベースのフレームワークの実用的限界を調査すること、特にNTKが一定でない場合を重点的に検討すること。

提案手法

• 連続的学習をNTK領域内での再帰的カーネル回帰として定式化し、タスクを経て閉形式でのモデル更新を可能にする。
• NTKフレームワーク内に、トランスファー学習、一般化、タスク類似度、カリキュラム学習の代理指標を導入する。
• カーネル整合性と勾配直交性を活用することで、無限記憶下でOGDが過去のタスクのパフォーマンスを維持できることを証明する。
• SGDおよびOGDの両方の一般化境界を導出し、NTK空間におけるタスク表現の内積に依存することを示す。
• 実用的で過剰パラメータ化でない設定におけるNTKの変動が、OGDの忘却に対する頑健性に与える影響を分析する。
• 過剰パラメータ化ネットワークのダイナミクスに由来する理論的道具（NTKおよび勾配降下法の線形収束性）を用いる。

実験結果

リサーチクエスチョン

• RQ1 連続的学習において、OGDの災害的忘却に対する頑健性を理論的に保証することは可能か？
• RQ2 NTK空間におけるタスク類似度は、SGDおよびOGDを用いた連続的学習における一般化にどのように影響するか？
• RQ3 連続的学習におけるSGDおよびOGDの最初の一般化境界は何か？その構造はいかなるものか？
• RQ4 ニューラルタングエント・カーネル（NTK）の変動は、実用的で無限幅でない設定におけるOGDのパフォーマンスにどのように影響するか？
• RQ5 トレーニング中にカーネルが一定でない場合、NTKベースのフレームワークはどの程度有効性を保つのか？

主な発見

• NTK領域において、無限記憶下でOGDが任意の数のタスクに対して災害的忘却に対して頑健であることが証明された。
• 連続的学習におけるSGDおよびOGDの最初の一般化境界が導出され、一般化がNTK空間におけるタスク類似度に依存することが示された。
• 一般化境界は、過去のタスクがNTK特徴空間でより類似している場合、将来のタスクでより良いパフォーマンスが達成されることを明らかにした。
• 過剰パラメータ化でない設定では、ニューラルタングエント・カーネル（NTK）の変動がOGDの忘却に対する頑健性を悪化させ、フレームワークの実用的適用性を制限することが分かった。
• 実験結果では、OGD+は平均精度およびバックワード転送の観点で、Permuted MNISTにおいてOGDおよびStable SGDを上回ったが、Split CIFAR100およびCUB200では過剰パラメータ化のためパフォーマンスが低下した。
• 回転MNISTでは、OGD+は平均精度およびバックワード転送でOGDを上回ったが、フォワード転送ではStable SGDに劣った。