[論文レビュー] The Effects of Hyperparameters on SGD Training of Neural Networks

Thomas M. Breuel|arXiv (Cornell University)|Aug 12, 2015

Machine Learning and Data Classification参考文献 1被引用数 52

ひとこと要約

この論文は、MNISTを用いた順伝播型ニューラルネットワークのSGD訓練における、学習率、バッチサイズ、活性化関数、出力層タイプといった主要なハイパーパrameterの影響を調査する。テスト誤差ではロジスティック出力が一貫してソフトマックスを上回り（1.0% 対 1.1%）、訓練誤差は高いにもかかわらず、ReLUユニットはシグモイドユニットと比較して、特に深層ネットワークにおいて訓練の安定性とスケーラビリティを著しく向上させることが判明した。

ABSTRACT

The performance of neural network classifiers is determined by a number of hyperparameters, including learning rate, batch size, and depth. A number of attempts have been made to explore these parameters in the literature, and at times, to develop methods for optimizing them. However, exploration of parameter spaces has often been limited. In this note, I report the results of large scale experiments exploring these different parameters and their interactions.

研究の動機と目的

• 学習率、バッチサイズ、活性化関数、出力層タイプといったハイパーパrameterの影響を、ニューラルネットワークの訓練性能に系統的に評価すること。
• 特にハイパーパrameterの相互作用に関する先行研究が限られていることに鑑み、一般的に用いられるアーキテクチャや最適化選択が最適であるかどうかを調査すること。
• ソフトマックス出力やReLUユニットの優位性に関する仮説を、多様な訓練条件下で検証することで、それらの優位性を疑問視すること。
• MNISTを用いた大規模な実験から得られた実証的結果に基づき、ハイパーパrameter探索およびモデル選択の実用的ガイドラインを提供すること。

提案手法

• デスクェアドMNISTデータを用い、TorchライブラリとCUDAを活用して、全結合ネットワークを用いて大規模な実験を実施した。
• 出力層タイプの影響を明確にするために、同一のアーキテクチャと訓練プロトコルを用いて、ロジスティック出力とソフトマックス出力を比較した。
• 数千回にわたる訓練実験を通じて、学習率、バッチサイズ、隠れユニット数を変化させ、ハイパーパramータースペース全体での性能をマップした。
• 訓練誤差対テスト誤差の散布図を用いて一般化性能を可視化し、最適なハイパーパramータ領域を同定した。
• バッチサイズの影響を調査するため、1サンプルごとの更新と大きなバッチサイズの比較を行い、収束性と誤差率を分析した。
• 浅いネットワークと深いネットワークの両方で、ReLUとシグモイド活性化関数を評価し、訓練の安定性とテスト精度に与える影響を測定した。

実験結果

リサーチクエスチョン

• RQ1 ロジスティック出力とソフトマックス出力という異なる出力層タイプは、SGDで訓練されたニューラルネットワークのテストセット誤差と一般化性能にどのように影響するか？
• RQ2 異なる出力層タイプや活性化関数に応じて、最適な学習率とバッチサイズの範囲は何か？
• RQ3 深さが異なるネットワークにおいて、ReLUとシグモイド活性化関数は、訓練の安定性、スケーラビリティ、テスト性能の観点からどのように比較されるか？
• RQ4 特に学習率、バッチサイズ、出力タイプの間のハイパーパラメータ相互作用は、モデルの一般化にどの程度影響を与えるか？
• RQ5 ネットワークの深さを増すことでテスト誤差が改善するか？その改善は活性化関数やバッチサイズにどのように依存するか？

主な発見

• ロジスティック出力層はMNISTで1.0%のテスト誤差を達成し、ソフトマックス出力（1.1%）を上回ったが、後者は低い訓練誤差を達成していた。
• ソフトマックス出力は最適性能を達成するためにはロジスティック出力と比較して約10倍小さい学習率を必要とし、異なる最適ハイパーパラメータ領域を示していることがわかった。
• ReLUユニットは、特に深層ネットワークにおいて、シグモイドユニットと比較して訓練の安定性とスケーラビリティを著しく向上させ、バッチサイズ依存性も低減した。
• 大きなバッチサイズは、通常、学習率を1サンプルあたりに比例して小さくする必要があるため、速度向上を達成できないことが多く、良好なハイパーパラメータの範囲を狭めた。
• ハイパーパラメータの相互作用は極めて複雑であり、個々に最適化されたパラメータの組み合わせが全体で最適化されないことが多く、一部のパラメータ設定は個別ではうまくいくが組み合わせると失敗することがあった。
• ハイパーパラメータ最適化は、期待性能の最適化ではなく、複数のランダム初期化における最良誤差を最小化することに焦点を当てるべきであり、これによりより頑健な結果が得られる。