[論文レビュー] Comparison of Training Methods for Deep Neural Networks

Patrick Glauner|arXiv (Cornell University)|Apr 26, 2015

Generative Adversarial Networks and Image Synthesis参考文献 17被引用数 9

ひとこと要約

この論文は、制限付きボルツマンマシン（RBMs）を用いた深層信念ネットワーク（DBNs）とスタックドオートエンコーダー（SAEs）を用いた深層ニューラルネットワークの事前学習手法を比較している。MNISTおよびKaggleの顔の感情認識データセット上で評価した結果、最適化されたSAEはテスト誤差39.75%を達成し、最良のKaggleコンペティション参加者（52.977%誤差）を上回った。これは、データ制限がある中でも適切なハイパーパrameterチューニングとノイズ除去正則化が有効であることを示している。

ABSTRACT

This report describes the difficulties of training neural networks and in particular deep neural networks. It then provides a literature review of training methods for deep neural networks, with a focus on pre-training. It focuses on Deep Belief Networks composed of Restricted Boltzmann Machines and Stacked Autoencoders and provides an outreach on further and alternative approaches. It also includes related practical recommendations from the literature on training them. In the second part, initial experiments using some of the covered methods are performed on two databases. In particular, experiments are performed on the MNIST hand-written digit dataset and on facial emotion data from a Kaggle competition. The results are discussed in the context of results reported in other research papers. An error rate lower than the best contribution to the Kaggle competition is achieved using an optimized Stacked Autoencoder.

研究の動機と目的

• 複雑なコンピュータビジョンタスクの文脈において、特にRBMsとオートエンコーダーを用いた深層ニューラルネットワークの事前学習手法を評価・比較すること。
• ハイパーパrameter選択および正則化手法がモデルの汎化性能に与える影響を調査すること。
• Kaggleの顔の感情データセットのような限られた・ノイズの多いデータセットにおいて、深層学習アプローチの実現可能性と有効性を評価すること。
• 実験と既存文献の統合に基づき、深層ネットワークのトレーニングに関する実用的アドバイスを提供すること。

提案手法

• 対照的分散法を用いて、グリーディな層ごとの事前学習を実行し、深層信念ネットワークを初期化するための制限付きボルツマンマシン（RBMs）を採用。
• ノイズ除去およびスパarsity正則化を施したスタックドオートエンコーダーを用い、グリーディで教師なしの方法で階層的特徴表現を学習。
• 分類タスクに適応させるために、事前学習後にバックプロパゲーションによるファインチューニングを実施。
• 確率的勾配降下法において、L2正則化、ドロップアウト、バッチ正規化、モーメンタムを含む標準的な深層学習技術を適用。
• Hintonライブラリおよびディープラーニングツールボックスを用い、MNISTおよびKaggleデータセットで交差検証とハイパーパrameterチューニングを実施し、モデル選択を実施。
• アブレーションスタディとして、同一の設定下で標準オートエンコーダー、ノイズ除去オートエンコーダー、DBNsを比較し、アーキテクチャおよび正則化の影響を分離。

実験結果

リサーチクエスチョン

• RQ1 MNISTや顔の感情認識といった画像分類タスクにおいて、RBMsを用いたDBNsとスタックドオートエンコーダーの性能はどのように比較されるか？
• RQ2 学習率、モーメンタム、L2正則化、ドロップアウトといったハイパーパrameterの選択が、深層ニューラルネットワークの汎化誤差に与える影響は何か？
• RQ3 同じ最適なハイパーパrameterでトレーニングされた場合、ノイズ除去を施さないスタックドオートエンコーダーがノイズ除去オートエンコーダーを上回ることは可能か？その理由は何か？
• RQ4 DBNsおよびノイズ除去オートエンコーダーがKaggleの顔の感情データセットで72.25%という高い誤差率に飽和する理由は何か？この制限要因としての要因は何か？
• RQ5 PCAやホワイトニングといったデータ前処理技術が、ノイズが多く重複する特徴を有するデータセットにおいて誤差の飽和を軽減し、性能を向上させ得る程度の効果は何か？

主な発見

• 最適化されたスタックドオートエンコーダーは、Kaggleの顔の感情認識データセットでテスト誤差率39.75%を達成し、最良のコンペティション参加者（52.977%誤差）を顕著に上回った。
• DBNsおよびノイズ除去オートエンコーダーは、Kaggleデータセットで72.25%という高い誤差率に飽和しており、最適なハイパーパrameterチューニングを行っても、モデルおよびデータの制限が顕在化していることを示している。
• ノイズ除去オートエンコーダーやDBNsで悪く性能を発揮した同じハイパーパラメータが、標準的なスタックドオートエンコーダーでは顕著な改善をもたらした。これは、特定のデータ条件下ではノイズ除去が有益でない可能性を示唆している。
• Kaggleデータセットにおけるテスト誤差の飽和は、データのノイズ、冗長性、および十分なトレーニング例の不足、加えて使用したディープラーニングツールボックスの潜在的限界に起因している可能性が高い。
• モデル性能はハイパーパラメータ選択に極めて敏感であり、学習率、モーメンタム、正則化値の変更に伴い誤差率が顕著に変動した。これは、慎重なチューニングの重要性を強調している。
• 結果から、PCAやホワイトニングといったデータ前処理技術が、冗長性を除去し特徴を非相関化することで誤差率を低減できる可能性があることが示唆されたが、本研究では実装されていない。