[論文レビュー] Multi-Sample Dropout for Accelerated Training and Better Generalization

Hiroshi Inoue|arXiv (Cornell University)|May 23, 2019

Advanced Neural Network Applications参考文献 24被引用数 52

ひとこと要約

マルチサンプルドロップアウトは入力ごとに複数のドロップアウトサンプルを作成し、それらの損失を平均化し、最終の全結合層（final-FC）だけを複製して、標準のドロップアウトと比較して訓練を加速し、汎化性能を向上させる。

ABSTRACT

Dropout is a simple but efficient regularization technique for achieving better generalization of deep neural networks (DNNs); hence it is widely used in tasks based on DNNs. During training, dropout randomly discards a portion of the neurons to avoid overfitting. This paper presents an enhanced dropout technique, which we call multi-sample dropout, for both accelerating training and improving generalization over the original dropout. The original dropout creates a randomly selected subset (called a dropout sample) from the input in each training iteration while the multi-sample dropout creates multiple dropout samples. The loss is calculated for each sample, and then the sample losses are averaged to obtain the final loss. This technique can be easily implemented by duplicating a part of the network after the dropout layer while sharing the weights among the duplicated fully connected layers. Experimental results using image classification tasks including ImageNet, CIFAR-10, and CIFAR-100 showed that multi-sample dropout accelerates training. Moreover, the networks trained using multi-sample dropout achieved lower error rates compared to networks trained with the original dropout. The additional computation cost due to the duplicated operations is not significant for deep convolutional networks because most of the computation time is consumed in the convolution layers before the dropout layer, which are not duplicated.

研究の動機と目的

• 深層ニューラルネットワークにおける過剰適合を防ぐための正則化技法を動機づける。
• 訓練を高速化し汎化能力を高めるためにマルチサンプルドロップアウトを提案する。
• 大規模および標準的な画像分類データセットでの有効性を示す。
• 既存のフレームワークと統合できる実装ガイダンスを提供する。

提案手法

• ドロップアウト層の後で重みを共有しつつネットワークの節を複製して、入力ごとに複数のドロップアウトサンプルを作成する。
• すべてのドロップアウトサンプルの損失を計算・平均化して最終の訓練目的を形成する。
• 元のドロップアウトおよびドロップアウトなしのベースラインと比較して、計算コストと精度を評価する。
• 推論時には単一のドロップアウトサンプルを使用して効率と一貫性を維持することを示す。
• ネットワーク内のどこにマルチサンプルドロップアウトを適用するか（通常は末端近く）について実用的な指針を提供する。
• サンプル数を増やすと訓練を加速し精度を向上させる理由を、トレードオフの考慮とともに説明する。

実験結果

リサーチクエスチョン

• RQ1 CNN やより深いアーキテクチャにおいて、マルチサンプルドロップアウトは元のドロップアウトと比較して訓練を加速しますか？
• RQ2 複数のドロップアウトサンプルの損失を平均化することは、標準的な画像分類ベンチマークでの汎化を改善しますか？
• RQ3 ドロップアウトサンプルの数は、アーキテクチャ（例: VGG16、ResNet、小型CNN）およびデータセット全体で訓練時間と最終精度にどう影響しますか？
• RQ4 配置、サンプリング数、ドロップアウト比の観点で、マルチサンプルドロップアウトを適用する際の実用的なガイドラインとは何ですか？

主な発見

• マルチサンプルドロップアウトは、最終層のみを複製する一方で、サンプルの多様性を効果的に高め、より大きなミニバッチに類似した形で訓練を加速します。
• 8個のドロップアウトサンプルを使用することで、VGG16のような深いCNNで収束の高速化と1回の反復あたりのオーバーヘッドのバランスが良好となる。
• マルチサンプルドロップアウトで訓練したネットワークは、CIFAR-10、CIFAR-100、および ImageNet の派生データセット全般で、元のドロップアウトと比較して最終検証誤差および訓練誤差が低い。
• この手法はさまざまなドロップアウト比に対して頑健で、標準的なドロップアウトより一般に精度が向上するが、利得はアーキテクチャとデータ量によって異なる。
• ネットワークの末端近くでマルチサンプルドロップアウトを適用することでオーバーヘッドを最小化し、効果を最大化する。一方でサンプリングを過度に増やすことや浅いネットワークは効率を低下させる。
• ドロップアウトサンプル数を増やすと、一般に収束速度と最終精度が moderate な限界まで向上する（例：約8サンプル程度）。