[論文レビュー] Stabilizing Elastic Weight Consolidation method in practical ML tasks and using weight importances for neural network pruning

Alexey Kutalev, Alisa Lapina|arXiv (Cornell University)|Sep 21, 2021

Neural Networks and Applications被引用数 6

ひとこと要約

この論文は、畳み込み層および自己注意機構を備えた深層ニューラルネットワークにおける継続的学習のためのエラスティックウェイトコンソリデーション（EWC）手法を安定化させ、特に勾配爆発およびノルム制約下での勾配信号の喪失という問題に焦点を当てる。提案された安定化されたEWCの変種は、元の手法と同等の継続的学習性能を維持しながら、学習安定性を向上させ、ニューラルネットワークの構造的でないプルーニングにおいて、重みの大きさまたは総絶対信号がEWCに基づく重要度よりも優れていることを明らかにした。

ABSTRACT

This paper is devoted to the features of the practical application of the Elastic Weight Consolidation (EWC) method for continual learning of neural networks on several training sets. We will more rigorously compare the well-known methodologies for calculating the importance of weights used in the EWC method. These are the Memory Aware Synapses (MAS), Synaptic Intelligence (SI) methodologies and the calculation of the importance of weights based on the Fisher information matrix from the original paper on EWC. We will consider these methodologies as applied to deep neural networks with fully connected and convolutional layers, find the optimal hyperparameters for each of the methodologies, and compare the results of continual neural network learning using these hyperparameters. Next, we will point out the problems that arise when applying the EWC method to deep neural networks with convolutional layers and self-attention layers, such as the "gradient explosion" and the loss of meaningful information in the gradient when using the constraint of its norm (gradient clipping). Then, we will propose a stabilization approach for the EWC method that helps to solve these problems, evaluate it in comparison with the original methodology and show that the proposed stabilization approach performs on the task of maintaining skills during continual learning no worse than the original EWC, but does not have its disadvantages. In conclusion, we present an interesting fact about the use of various types of weight importance in the problem of neural network pruning.

研究の動機と目的

• 畳み込み層および自己注意層を備えた深層ネットワークにおける実用的継続的学習のためのエラスティックウェイトコンソリデーション（EWC）手法の安定化を目的とする。
• MAS、SI、Fisher情報に基づく重み重要度手法を用いて、EWCの最適なハイパーパrameterを厳密に比較・選定することを目的とする。
• EWCにおける勾配爆発およびノルム制約下での勾配信号喪失といった訓練不安定要因を特定・解消することを目的とする。
• EWCから導出される重み重要度のニューラルネットワークの非構造的プルーニングへの応用可能性を評価することを目的とする。
• 全結合および畳み込みネットワークにおけるプルーニングにおいて、最も効果的な重み重要度指標を特定することを目的とする。

提案手法

• 畳み込みおよび自己注意ネットワークにおけるバックプロパゲーション中に勾配爆発を軽減し、勾配信号の保持を向上させる安定化されたEWC手法を提案する。
• 特定のアーキテクチャおよびデータセット上で、各重み重要度手法（MAS、SI、Fisher）に対してEWCハイパーパrameter λ のグリッドサーチを実施し、最適値を同定する。
• 重み重要度を3つの手法で計算する：メモリに配慮したシンラプス（MAS）、シナプティックインテリジェンス（SI）、および元のEWC論文に従うFisher情報行列。
• Adam最適化法を用い、固定されたハイパーパrameterを設定し、MNISTの順列変換および90度回転付きのMNIST/Fashion-MNISTに対して、順次学習中に安定化されたEWC手法を適用する。
• 重みの大きさおよびEWCから導出された重要度スコアに基づいて重みをゼロ化することで非構造的プルーニングを実施し、プルーニング比の増加に伴う精度の低下を評価する。
• 各実験に対して20回の独立した実行を実施し、平均精度および95%信頼区間を計算することで、堅牢な評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 全結合および畳み込みネットワークにおける継続的学習において、異なる重み重要度手法（MAS、SI、Fisher）に対するEWCハイパーパrameter λ の最適値は何か？
• RQ2 勾配爆発および勾配クリッピングは、畳み込みおよび自己注意ネットワークにおけるEWCの訓練安定性にどのように影響するか？
• RQ3 提案された安定化手法は、訓練安定性を向上させる一方で、Catastrophic Forgettingの緩和能力を保持しているか？
• RQ4 非構造的ニューラルネットワークプルーニングにおいて、重みの大きさ、MAS、SI、Fisher情報のうち、どの重み重要度指標が最も優れた性能を示すか？
• RQ5 スパarsityが増加する条件下で、EWCに基づくプルーニングと大きさに基づくプルーニングの精度低下の度合いは、どのように比較されるか？

主な発見

• 重み重要度の算出にメモリに配慮したシンラプス（MAS）手法を用いることで、継続的学習においてSIおよびFisher情報に基づく重要度よりも一貫して優れた性能を示し、全テストアーキテクチャで最高の平均精度を達成した。
• 各重要度手法の最適な λ 値は、グリッドサーチにより経験的に同定され、MASは異なるネットワークタイプにおいて最も頑健な性能を示した。
• 提案されたEWCの安定化手法は、元のEWCと同等またはそれを上回る継続的学習性能を維持するとともに、勾配爆発および勾配信号の劣化問題を解消した。
• 非構造的プルーニングにおいて、重みの大きさおよび総絶対信号に基づくプルーニングが、MAS、SI、Fisher情報に基づくプルーニングよりも顕著に優れており、精度の低下が最小限に抑えられた。
• MAS、SI、Fisher情報に基づくプルーニングは性能が低かったが、これはこれらの指標が現在の重み値周辺の局所的重み重要度を反映しており、重みがゼロにされた時点で有効性を失うためと推測される。
• 安定化されたEWC手法は、自己注意機構を有する大規模言語モデルのファインチューニングにおいて特に有望である。これは、訓練安定性の向上に起因する。