[論文レビュー] Best Practices for Convolutional Neural Networks Applied to Object Recognition in Images

Anderson de Andrade|arXiv (Cornell University)|Oct 29, 2019

Advanced Neural Network Applications参考文献 13被引用数 10

ひとこと要約

この論文は、CIFAR-10データセットを用いて、画像オブジェクト認識における畳み込みニューラルネットワーク（CNN）のベストプラクティスを調査している。アーキテクチャ、活性化関数、正規化手法、トレーニング戦略を評価し、ReLUユニット、グローバルコントラスト正規化、パラメータ数が多くて中程度の深さのネットワークが優れた性能を示すことが判明した。一方、マックスアウトネットワークは、より深い全結合層でノイズを引き起こす傾向がある。

ABSTRACT

This research project studies the impact of convolutional neural networks (CNN) in image classification tasks. We explore different architectures and training configurations with the use of ReLUs, Nesterov's accelerated gradient, dropout and maxout networks. We work with the CIFAR-10 dataset as part of a Kaggle competition to identify objects in images. Initial results show that CNNs outperform our baseline by acting as invariant feature detectors. Comparisons between different preprocessing procedures show better results for global contrast normalization and ZCA whitening. ReLUs are much faster than tanh units and outperform sigmoids. We provide extensive details about our training hyperparameters, providing intuition for their selection that could help enhance learning in similar situations. We design 4 models of convolutional neural networks that explore characteristics such as depth, number of feature maps, size and overlap of kernels, pooling regions, and different subsampling techniques. Results favor models of moderate depth that use an extensive number of parameters in both convolutional and dense layers. Maxout networks are able to outperform rectifiers on some models but introduce too much noise as the complexity of the fully-connected layers increases. The final discussion explains our results and provides additional techniques that could improve performance.

研究の動機と目的

• さまざまなCNNアーキテクチャおよびトレーニング設定が画像分類精度に与える影響を評価すること。
• ReLU、tanh、シグモイド、マックスアウトを含む、異なる活性化関数の有効性を比較すること。
• グローバルコントラスト正規化やZCAホワイトニングを含む前処理技術がモデル性能に与える影響を評価すること。
• オブジェクト認識における強固な特徴学習のための最適なハイパーパrameterおよびネットワークの深さを特定すること。
• 類似した画像分類タスクに取り組む実務家に対して、実行可能なインサイトとトレーニングの直感を提供すること。

提案手法

• CIFAR-10データセット上で、深さ、カーネルサイズ、オーバーラップ、プーリング領域、サブサンプリング手法を変化させた複数のCNNモデルをトレーニングする。
• ReLU、tanh、シグモイド、マックスアウトを活性化関数として適用し、トレーニング速度と精度を比較する。
• 入力の前処理としてグローバルコントラスト正規化とZCAホワイトニングを用い、特徴表現を向上させる。
• 最適化にはネステロフの加速勾配法、正則化にはドロップアウトを採用する。
• CIFAR-10コンペティションのテストセットを用いて、標準的な画像分類指標でモデルを評価する。
• ハイパーパrameterを体系的にチューニングし、再現性とガイダンスのための根拠を文書化する。

実験結果

リサーチクエスチョン

• RQ1 ReLU、tanh、シグモイド、マックスアウトといった異なる活性化関数は、CNNにおけるトレーニング速度と分類精度にどのように影響するか？
• RQ2 グローバルコントラスト正規化とZCAホワイトニングの相対的な影響は、モデル性能にどのように現れるか？
• RQ3 ネットワークの深さとパラメータ数は、画像分類における特徴学習と一般化にどのように影響するか？
• RQ4 ドロップアウトとネステロフの加速勾配は、モデルのロバストネスと収束性をどの程度向上させるか？
• RQ5 マックスアウトネットワークはReLUベースのモデルを上回ることができるか？また、ネットワークの複雑さが増すとどのようなトレードオフが生じるか？

主な発見

• ReLUユニットは、トレーニング速度と分類精度の両面で、シグモイドおよびtanhを顕著に上回る。
• グローバルコントラスト正規化とZCAホワイトニングは、他の前処理手法よりも一貫して優れた性能を示す。
• 畳み込み層および全結合層に多数のパラメータを有する中程度の深さのCNNが、最も優れた結果を達成する。
• マックスアウトネットワークは一部の設定でReLUを上回るが、全結合層が複雑になるにつれて過剰なノイズを引き起こす傾向がある。
• ReLU、グローバルコントラスト正規化、ネステロフの加速勾配の組み合わせが、最も効果的なトレーニングダイナミクスを生み出す。
• 広範なハイパーパrameterチューニングと文書化された直感は、類似した画像認識タスクで最適なパフォーマンスを達成する上で不可欠である。