[論文レビュー] Training Neural Networks with Fixed Sparse Masks

Yi-Lin Sung, Varun Nair+1 more|arXiv (Cornell University)|Nov 18, 2021

Domain Adaptation and Few-Shot Learning参考文献 48被引用数 4

ひとこと要約

この論文では、トレーニング中の勾配更新のためのk番目に重要なパラメータを選択する固定スパースマスクを事前計算するFISH Maskという手法を提案している。多くのイテレーションにわたり、この高重要度パラメータのみを更新することで、トランスファーラーニングおよび分散学習においてメモリと通信コストを削減しつつ、標準的なトレーニング性能を維持または上回り、スパarsity 10%でも最小限の精度低下で実現している。

ABSTRACT

During typical gradient-based training of deep neural networks, all of the model's parameters are updated at each iteration. Recent work has shown that it is possible to update only a small subset of the model's parameters during training, which can alleviate storage and communication requirements. In this paper, we show that it is possible to induce a fixed sparse mask on the model's parameters that selects a subset to update over many iterations. Our method constructs the mask out of the $k$ parameters with the largest Fisher information as a simple approximation as to which parameters are most important for the task at hand. In experiments on parameter-efficient transfer learning and distributed training, we show that our approach matches or exceeds the performance of other methods for training with sparse updates while being more efficient in terms of memory usage and communication costs. We release our code publicly to promote further applications of our approach.

研究の動機と目的

• 大規模ニューラルネットワークトレーニングにおける高いストレージおよび通信コストを低減すること、特にトランスファーラーニングおよび分散／フェデレーテッド設定において。
• 各イテレーションで全パラメータではなく、小さな固定サブセットのパラメータのみを更新することで、モデル更新のオーバーヘッドを低減すること。
• 新しいパラメータを追加せず、更新マスクを動的に変更しないモデルに依存しない効率的なスパースパラメータ更新手法を開発すること。
• 帯域幅やストレージが限られた環境、例えばモデルチェックポイントやフェデレーテッドラーニングでの実用的導入を可能にすること。
• パラメータの重要度（フィッシャー情報による）に基づく固定スパースマスクが、最小限の低下で高い性能を維持できることを示すこと。

提案手法

• 小さなデータバッチ上で各サンプルの勾配の分散として計算される、経験的フィッシャー情報に基づいてパラメータの重要度を推定する。
• フィッシャー情報値が最も高いk個のパラメータを選択することで、固定スパースマスクを構築し、トレーニング中はこれらのパラメータのみを更新する。
• フィッシャー近似を効率的に計算するため、小さなサンプルセット（N=1024、分散環境ではN=256）を1回の順伝播および逆伝播で処理する。
• 標準的な確率的勾配降下法（SGD）を用いるが、重みの更新を事前に計算されたFISHマスクで選択されたパラメータに制限する。
• すべてのトレーニングイテレーションにわたり同一のマスクを維持し、再計算や動的再構成を回避する。
• モデルアーキテクチャを変更せずに、最適化ステップ中にバイナリマスクとして適用することで、既存のトレーニングパイプラインとの互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 パラメータの重要度に基づく固定スパースマスクは、トレーニングにおける通信およびストレージコストを削減しながらも、高いモデル性能を維持できるか？
• RQ2 スパーストレーニングにおいて、フィッシャー情報をパラメータ重要度の代理として用いる場合、ランダム選択やヒューリスティック選択と比較してどのように異なるか？
• RQ3 マスクのスパarsityおよび更新頻度が、パラメータ効率的なトランスファーラーニングにおけるモデル精度に与える影響は何か？
• RQ4 フィッシャー計算はデータおよび計算リソースの観点でどの程度効率的か？安定したパフォーマンスを得るにはどの程度のサンプル数が必要か？
• RQ5 固定FISHマスクは、ロットリーチケット仮説が示唆するように、ロットリーチケットスタイルのトレーニングのためのスパースサブネットワークを同定するために使用可能か？

主な発見

• スパarsity 10%の条件下で、FISH MaskトレーニングはGLUEベンチマークで93.9%の精度を達成し、標準トレーニングと同等の性能を示した。
• FISHマスクを1エポックごとに更新することで、10%スパarsity下で完全トレーニングとほぼ同等の性能を維持でき、ストレージ要件を5分の1に削減した。
• FISH Maskの性能は、テストしたすべてのスパarsityレベルでランダムマスクを常に上回り、低スパarsityでも最小限の低下で安定した性能を示した。
• フィッシャー近似を計算するのに32サンプルしか使用しなくても、ほぼ最適なパフォーマンスが得られ、重要度推定におけるデータ効率が高かった。
• 10%スパarsityの固定FISHマスクでは、精度が数パーセント程度低下するにとどまり、ロットリーチケットサブネットワークの同定に潜在的に利用可能である可能性を示唆した。
• 経験的フィッシャー近似は真のフィッシャーと同等の性能を示し、パフォーマンスに損なわれることなく、より高速で実用的なマスク計算を可能にした。