[論文レビュー] Neural Network Retraining for Model Serving

Diego Klabjan, Xiaofeng Zhu|arXiv (Cornell University)|Apr 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 18被引用数 6

ひとこと要約

本稿では、神経ネットワークモデルサービングのための新しい段階的微調整フレームワークを提案する。このフレームワークは、多腕バンディット（MAB）を用いた動的データサンプリングと、重要なニューロンおよびシナプスを保存するための新しい正則化項を用いることで、継続的学習における深刻な忘却の軽減と計算効率の向上を実現する。本手法は、重要な重みの選択的再訓練と、影響力のある旧データバッチのリプレイにより、計算コストを削減しつつ優れた性能を達成する。

ABSTRACT

We propose incremental (re)training of a neural network model to cope with a continuous flow of new data in inference during model serving. As such, this is a life-long learning process. We address two challenges of life-long retraining: catastrophic forgetting and efficient retraining. If we combine all past and new data it can easily become intractable to retrain the neural network model. On the other hand, if the model is retrained using only new data, it can easily suffer catastrophic forgetting and thus it is paramount to strike the right balance. Moreover, if we retrain all weights of the model every time new data is collected, retraining tends to require too many computing resources. To solve these two issues, we propose a novel retraining model that can select important samples and important weights utilizing multi-armed bandits. To further address forgetting, we propose a new regularization term focusing on synapse and neuron importance. We analyze multiple datasets to document the outcome of the proposed retraining methods. Various experiments demonstrate that our retraining methodologies mitigate the catastrophic forgetting problem while boosting model performance.

研究の動機と目的

• モデルサービング中に継続的ニューラルネットワーク再訓練における深刻な忘却を解消すること。
• 新しいデータに対して再訓練する際の計算コストを削減することを目的とし、影響力のある旧データと重要な重みのみを動的に選択する。
• ニューロンおよびシナプスの重要度を保存する新しい正則化項を導入することで、モデルの汎化性能と精度を向上させること。
• 限られたメモリと計算リソースで、長期間にわたりモデル性能を維持できる効率的かつスケーラブルな再訓練フレームワークを開発すること。
• CNN、MLP、RNNに適用可能な統合的かつ汎用的な再訓練パイプラインとして、MABに基づくサンプリングと動的重み最適化を統合すること。

提案手法

• 損失の減少または重みの大きさの変化を報酬として用い、多腕バンディット（MAB）アルゴリズムを用いて旧データのミニバッチを選択する。
• 各重みクラスタを1つのアームとみなしてMABを適用し、損失の減少または重み更新の大きさを報酬として用いることで、最適化対象の重みクラスタを選択する。
• ニューロン表現が安定している場合にのみ重み更新を促進する新しい正則化項を導入し、忘却を低減する。
• エポックごとの重み変化をK-meansクラスタリングにより処理し、重要な重みをクラスタにグループ化して、選択的再訓練を実現する。
• MABに基づくメモリリプレイと新しい正則化項を組み合わせ、新データからの学習と旧知識の保持のバランスを取る。
• エポックベースの事前学習に続いてMAB駆動のファインチューニングを実施し、選択的最適化の前に重みをウォームアップする。

実験結果

リサーチクエスチョン

• RQ1 新しいデータに対して神経ネットワークを効率的に再訓練しつつ、深刻な忘却を最小限に抑える方法は何か？
• RQ2 MABに基づく旧データのサンプリングは、ランダムまたは固定リプレイ戦略と比較して、再訓練の効率とモデルの精度を向上させるか？
• RQ3 動的重みクラスタリングと選択的最適化は、性能に損なわれることなく計算コストを削減できるか？
• RQ4 ニューロンおよびシナプスの重要度に基づく提案された正則化項は、モデルの安定性と汎化性能にどのように影響を与えるか？
• RQ5 MABに基づく再訓練フレームワークは、多様なアーキテクチャ（CNN、MLP、RNN）およびデータセットに対して、頑健かつ効果的であるか？

主な発見

• MABに基づくメモリリプレイ手法は、SEAデータセットで10回の異なる乱数シードにおいて平均正解率0.8511を達成し、標準偏差はわずか0.0005にとどまり、高い頑健性を示した。
• バッチ正規化、クラスタリング、MABの組み合わせにより、ベースラインのBNに対して1.49%、Clustering+MAB単体に対して1.12%のテスト正解率向上が達成された。
• MNIST-Aデータセットでは、BN+Clustering+MABが99.14%の正解率を達成し、BN単体（98.88%）およびClustering+MAB（99.09%）を上回った。
• Clustering+MABをBN単体と比較した場合、6つのデータセット全体で平均4.9%の汎化性能向上が得られ、特定のデータセットでは最大16.0%の向上が確認された。
• MABにおける重みクラスタの最適数はk=3であった。これは、SEAデータセットで最高の検証正解率を達成した。
• MABに基づく再訓練セッションでは、重みクラスタの選択がバランス良く行われており、時間経過とともに各クラスタがほぼ均等に選択された。これは、安定した探索が実現していることを示している。