[論文レビュー] Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting

Zeke Xie, Fengxiang He+4 more|arXiv (Cornell University)|Nov 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 74被引用数 7

ひとこと要約

本稿では、生物学的神経可変性を模倣することで深層学習のロバスト性を向上させる、新たな正則化手法であるアーティフィシャルニューラルバリアビリティ（ANV）を提案する。ニューラル変動リスク最小化（NVRM）フレームワークを用いて学習中に重みの摂動を注入することで、ANVは相互情報量を暗黙的かつ効果的に正則化し、計算コストをほとんど増加させることなく、過学習、ノイズ記憶、および深刻な忘却の問題を顕著に軽減する。

ABSTRACT

Deep learning is often criticized by two serious issues which rarely exist in natural nervous systems: overfitting and catastrophic forgetting. It can even memorize randomly labelled data, which has little knowledge behind the instance-label pairs. When a deep network continually learns over time by accommodating new tasks, it usually quickly overwrites the knowledge learned from previous tasks. Referred to as the {\it neural variability}, it is well-known in neuroscience that human brain reactions exhibit substantial variability even in response to the same stimulus. This mechanism balances accuracy and plasticity/flexibility in the motor learning of natural nervous systems. Thus it motivates us to design a similar mechanism named {\it artificial neural variability} (ANV), which helps artificial neural networks learn some advantages from ``natural'' neural networks. We rigorously prove that ANV plays as an implicit regularizer of the mutual information between the training data and the learned model. This result theoretically guarantees ANV a strictly improved generalizability, robustness to label noise, and robustness to catastrophic forgetting. We then devise a {\it neural variable risk minimization} (NVRM) framework and {\it neural variable optimizers} to achieve ANV for conventional network architectures in practice. The empirical studies demonstrate that NVRM can effectively relieve overfitting, label noise memorization, and catastrophic forgetting at negligible costs. \footnote{Code: \url{https://github.com/zeke-xie/artificial-neural-variability-for-deep-learning}.

研究の動機と目的

• 深層ニューラルネットワークにおける過学習と深刻な忘却の問題に、生物学的神経系では稀に見られるという持続的課題に取り組む。
• 人間の脳で観察される神経可変性を模倣することで、人工ネットワークの一般化性能とロバスト性を向上させることができるかを調査する。
• アーキテクチャの変更なしに、標準的な深層学習アーキテクチャに神経可変性を組み込む理論的根拠と実用的な手法を開発する。
• ANVがラベルノイズおよび重み摂動に対してロバストであることを示し、継続的学習タスクにおける性能を維持することを実証する。

提案手法

• 生物学的神経可変性にインspiredされ、精度と柔軟性のバランスを取るためのメカニズムとして、アーティフィシャルニューラルバリアビリティ（ANV）を提案する。
• ANVを、学習データとモデル重みの間の相互情報量の暗黙的正則化子として形式化し、理論的に一般化性能の向上を保証する。
• 経験的リスクを重み摂動下での期待損失に置き換えることで、ニューラル変動リスク最小化（NVRM）フレームワークを設計する。
• 推論時の神経可変性を模倣するために、学習中に確率的重み摂動を適用するニューラル変動最適化手法を導入する。
• 摂動に使用する3種類のノイズ（ガウス、ラプラス、一様）を用意し、最適なパラメータを調整する。
• NVRMにノイズ除去ステップを組み込み、ラベルノイズに対するロバスト性を向上させ、標準的なSGDやPSGDを上回る性能を示す。

実験結果

リサーチクエスチョン

• RQ1 アーティフィシャルニューラルバリアビリティ（ANV）は、深層ニューラルネットワークにおける過学習と深刻な忘却を軽減する暗黙の正則化子として機能できるか？
• RQ2 標準的なSGDと比較して、ANVはラベルノイズおよび重み摂動に対して、モデルのロバスト性にどのように影響を与えるか？
• RQ3 ガウス、ラプラス、一様の異なるノイズタイプが、ノイズ環境および継続的学習シナリオにおけるNVRMの性能に与える影響は何か？
• RQ4 NVRMは、タスク固有のメモリやアーキテクチャの変更なしに、継続的学習における深刻な忘却を効果的に緩和できるか？
• RQ5 NVRMに組み込まれたノイズ除去機構は、PSGDのような標準的なノイズ注入手法と比較して、測定可能な利点を提供するか？

主な発見

• ANVは、学習データとモデル重みの間の相互情報量の暗黙的正則化子として機能し、理論的に一般化性能とロバスト性の向上を保証する。
• NVRMは、ランダムにラベル付けされたデータの記憶を顕著に低減し、40％の非対称ラベルノイズ下で、標準的なSGDやPSGDと比較してほぼ7ポイントの性能向上を達成する。
• ガウスノイズを用いたNVRMが最も高いテスト精度を達成し、一様およびラプラスノイズのバージョンよりもほぼ1ポイント優れているが、一様ノイズはハイパーパramータチューニングに対してより高いロバスト性を示す。
• パーミュテッドMNISTにおける継続的学習において、NVRMはEWCの性能を向上させ、5つのタスクにおけるベースタスクの精度と平均タスク精度の両方を向上させる。
• NVRMに組み込まれたノイズ除去ステップは、実験的に有効である。標準的なノイズ注入（PSGD）ですらラベル記憶を低減できるが、NVRMは依然として顕著に優れた性能を示す。
• NVRMは、計算コストおよびコーディングコストをほとんど増加させることなく、すべての利点を達成でき、既存のモデルに統合するにはたった1行のコードで十分である。