[論文レビュー] Efficient batchwise dropout training using submatrices

Benjamin Graham, Jeremy Reizenstein+1 more|arXiv (Cornell University)|Feb 9, 2015

Advanced Neural Network Applications参考文献 11被引用数 7

ひとこと要約

この論文では、ミニバッチ内のすべてのサンプルに同じドロップアウトマスクを適用することで、高速なサブ行列計算を可能にするバッチワイドドロップアウトを提案する。活性な接続のみをサブ行列を用いて計算することで、FLOPsとメモリ使用量を削減し、テスト精度を損なわずにトレーニング時間を最大50%短縮できる。一般化性能は同等を維持しながら、独立ドロップアウトよりも高速に動作する。

ABSTRACT

Dropout is a popular technique for regularizing artificial neural networks. Dropout networks are generally trained by minibatch gradient descent with a dropout mask turning off some of the units---a different pattern of dropout is applied to every sample in the minibatch. We explore a very simple alternative to the dropout mask. Instead of masking dropped out units by setting them to zero, we perform matrix multiplication using a submatrix of the weight matrix---unneeded hidden units are never calculated. Performing dropout batchwise, so that one pattern of dropout is used for each sample in a minibatch, we can substantially reduce training times. Batchwise dropout can be used with fully-connected and convolutional neural networks.

研究の動機と目的

• 特に大きな隠れ層を伴うドロップアウト正則化付きニューラルネットワークのトレーニングにおける高い計算コストに対処すること。
• ドロップアウトアンサンブルの規模が非常に大きいことを踏まえ、各サンプルごとに独立したドロップアウトマスクが一般化性能に必要かどうかを検討すること。
• 同じドロップアウトパターンをミニバッチ全体に適用することで、サブ行列に基づく計算を可能にする、より効率的なトレーニング手法を開発すること。
• モデルのパフォーマンスや一般化性能を損なわずに、1エポックあたりのトレーニング時間を短縮すること。

提案手法

• 各サンプルごとのドロップアウトマスクを、ミニバッチごとに1つの共有ドロップアウトマスクに置き換える。このマスクはすべてのサンプルに一様に適用される。
• 活性ユニットのみを含む重みと活性のサブ行列、$W_k^{\text{dropout}}$ と $x_k^{\text{dropout}}$ を定義する。
• 前方伝搬と逆伝搬を、サブ行列乗算のみで行い、余分な演算を排除する。
• 標準的なGEMMカーネル（例：CUBLAS SGEMM）をサブ行列に適用することで、ハードウェア最適化された行列乗算を活用する。
• 全結合層および畳み込み層の両方のネットワーク、特に残差接続や深層アーキテクチャにも適用する。
• 活性な隠れユニットとそれに対応する重みサブ行列のみを格納することで、メモリ使用量を最適化する。

実験結果

リサーチクエスチョン

• RQ1 同じドロップアウトパターンをミニバッチ全体に適用することで、一般化性能を維持しつつトレーニング時間を短縮できるか？
• RQ2 ドロップアウト行列乗算における冗長なFLOPsを排除することで、バッチワイドドロップアウトが計算オーバーヘッドを低減できるか？
• RQ3 標準ベンチマーク上でのテスト精度とトレーニング速度について、バッチワイドドロップアウトは独立ドロップアウトと比べてどのように異なるか？
• RQ4 標準BLASカーネルを用いて、GPUハードウェア上でサブ行列計算アプローチを効率的に実装できるか？
• RQ5 帯域幅制限のある分散トレーニング環境において、バッチワイドドロップアウトに利点があるか？

主な発見

• MNISTデータセットでは、バッチワイドドロップアウトが1エポックあたりのトレーニング時間を最大50%短縮し、独立ドロップアウトとほぼ同等のテスト精度を達成した。
• 小さな畳み込みネットワークを用いたCIFAR-10では、12回のテスト平均において、バッチワイドドロップアウトがわずかに低い最小テスト誤差（7.70%）を達成したのに対し、独立ドロップアウトは7.63%であった。
• CIFAR-10における12層の深層畳み込みネットワークでは、バッチワイドドロップアウトが、同程度の正則化レベルを維持しながら、独立ドロップアウトに比べて1エポックあたりのトレーニング時間を半分以下に短縮した。
• サブ行列計算のおかげで、モデルパフォーマンスは独立ドロップアウトとほぼ同一でありながら、トレーニング効率が顕著に向上した。
• 活性ユニットと対応するサブ行列のみを格納することで、GPU上のキャッシュ効率を向上させ、メモリ使用量を削減した。
• 著者らは、バッチワイドドロップアウトがやや強い正則化作用を示すのを観察した。テスト誤差曲線が左にずれていることから、特に低いドロップアウト率でも一般化性能が優れている可能性がある。