[論文レビュー] Make (Nearly) Every Neural Network Better: Generating Neural Network Ensembles by Weight Parameter Resampling

Jiayi Liu, Samarth Tripathi+2 more|arXiv (Cornell University)|Jul 2, 2018

Advanced Neural Network Applications参考文献 11被引用数 3

ひとこと要約

本稿では、短いファインチューニング段階中に推定される重みの不確実性分布に基づいて重みパラメータを再サンプリングすることで、ほぼあらゆる事前学習済み深層ニューラルネットワークを普遍的かつ効率的に改善する手法を提案する。このアプローチにより、Inception-V3 や MobileNet といった多様なモデルで一貫した性能向上が達成され、最終トレーニング段階からの重みの平均化または再サンプリングを実行するが、再トレーニングの必要がなく、計算コストも最小限に抑えられる。

ABSTRACT

Deep Neural Networks (DNNs) have become increasingly popular in computer vision, natural language processing, and other areas. However, training and fine-tuning a deep learning model is computationally intensive and time-consuming. We propose a new method to improve the performance of nearly every model including pre-trained models. The proposed method uses an ensemble approach where the networks in the ensemble are constructed by reassigning model parameter values based on the probabilistic distribution of these parameters, calculated towards the end of the training process. For pre-trained models, this approach results in an additional training step (usually less than one epoch). We perform a variety of analysis using the MNIST dataset and validate the approach with a number of DNN models using pre-trained models on the ImageNet dataset.

研究の動機と目的

• 事前学習済み深層ニューラルネットワークの再トレーニングなしで、高速かつ普遍的な性能向上手法を開発すること。
• 確率的勾配降下法（SGD）の更新における不確実性が、モデルの一般化性能向上にどのように活用できるかを調査すること。
• 特に低データ量または高計算コストな状況下において、異なるアーキテクチャおよび最適化戦略に対する本手法の頑健性を評価すること。
• アンサンブル手法に伴う計算負荷を軽減しながら、予測性能を維持または向上させること。
• あらゆるDNNモデル、特にImageNetなどの大規模データセットで事前学習済みのモデルにも適用可能な実用的で即挿し可能な技術を提供すること。

提案手法

• 初期トレーニング後の短いファインチューニング段階中に、オンラインWelfordアルゴリズムを用いてモデルパラメータの平均および分散を推定する。
• 推定された平均を中心とし、推定された標準偏差を用いてガウス分布からモデル重みを再サンプリングする。
• 再サンプリングにより複数のモデルを構築し、それらの予測を平均化することでアンサンブルを形成し、より頑健で正確な性能を達成する。
• あるいは、すべての重みを推定された平均値に置き換えることで、推論コストに変化のない1つの改善済みモデルを構築する。
• パラメータの不確実性を捉えるために、最小限のファインチューニング段階（通常1エポック未満）を用いることで、計算効率を確保する。
• 本手法を事前学習済みモデルおよびスクラッチからトレーニングされたモデルの両方へ適用し、トレーニング手法や最適化関数の違いに対しても普遍性を検証する。

実験結果

リサーチクエスチョン

• RQ1 短いファインチューニング段階中に捉えられるパラメータの不確実性を、より優れたニューラルネットワークアンサンブルの生成に活用できるか？
• RQ2 標準的なファインチューニングおよびStochastic Weight Averaging（SWA）などの既存のアンサンブル手法と比較して、本手法は精度および効率性においてどのように異なるか？
• RQ3 学習率、最適化関数（例：SGD対Adam）の選択、モデルアーキテクチャの変化に対して、本手法はどの程度頑健か？
• RQ4 ImageNetなどの大規模データセットに適用した場合、本手法は標準的モデルおよび軽量モデル（例：MobileNet）の両方で性能向上をもたらすか？
• RQ5 パラメータの不確実性を信頼性高く推定し、一貫した性能向上を達成するために必要な最小限のファインチューニング期間はどの程度か？

主な発見

• 本手法は、MNISTデータセットにおいて複数の設定で一貫して精度向上を達成しており、平均値を再サンプリングしたモデルがベースラインおよびファインチューニング済みモデルを上回る性能を示した。
• ImageNetにおいても、Inception-V3およびMobileNetの両方でトップ-1精度が向上し、特にAdam最適化関数を用いたファインチューニング時でも効果が確認された。
• 再サンプリングされたアンサンブルの性能は広い範囲の学習率に対して頑健であり、ハイパーパramータの選択に対して敏感でないことが示された。
• 平均値を再サンプリングしたモデルそのものが3モデルアンサンブルと同等の性能を達成しており、平均値がパラメータ分布の優れた代表であることが示唆された。
• わずか10,000回の更新（ImageNet全体の25％）でも、パラメータの不確実性を信頼性高く推定し、一貫した性能向上を達成できた。
• 本手法は1エポック未満のファインチューニングで性能向上を達成でき、実世界の展開においても非常に効率的かつ実用的であることがわかった。