[論文レビュー] Reducing Overfitting in Deep Networks by Decorrelating Representations

Michael Cogswell, Faruk Ahmed+3 more|arXiv (Cornell University)|Nov 19, 2015

Machine Learning and Data Classification被引用数 78

ひとこと要約

この論文は、隠れ層の活性化同士の相互共分散を最小化することで過学習を軽減する、DeCovと呼ばれる新しい正則化手法を提案する。これにより、相関のない、重複のない表現が促進される。DeCovは複数のデータセットおよびアーキテクチャにおいて、訓練・検証精度の差を一貫して縮小し、ドロップアウトと同等またはそれ以上の性能を示しながら一般化性能を維持または向上させる。

ABSTRACT

One major challenge in training Deep Neural Networks is preventing overfitting. Many techniques such as data augmentation and novel regularizers such as Dropout have been proposed to prevent overfitting without requiring a massive amount of training data. In this work, we propose a new regularizer called DeCov which leads to significantly reduced overfitting (as indicated by the difference between train and val performance), and better generalization. Our regularizer encourages diverse or non-redundant representations in Deep Neural Networks by minimizing the cross-covariance of hidden activations. This simple intuition has been explored in a number of past works but surprisingly has never been applied as a regularizer in supervised learning. Experiments across a range of datasets and network architectures show that this loss always reduces overfitting while almost always maintaining or increasing generalization performance and often improving performance over Dropout.

研究の動機と目的

• 限られたデータで大きなモデルをトレーニングする際の主な障壁である深層ニューラルネットワークにおける過学習を解消すること。
• 隠れユニットの活性化同士の相関を明示的に低減することで一般化性能が向上するかを調査すること。
• 追加の教師信号を必要とせず、多様で重複のない表現を促進する新しい正則化手法を開発すること。
• 相関のない表現が、ドロップアウトのような標準的な正則化手法よりも優れた性能を発揮するかを評価すること。

提案手法

• 選択された層における隠れ活性化の標本間相互共分散行列のフロベニウスノルムを最小化する正則化手法DeCovを提案する。
• バックプロパゲーション中に、追加のラベルを必要としない、自己教師的で微分可能な正則化項としてDeCov損失を適用する。
• 既存の深層学習アーキテクチャにDeCovを統合し、全体のトレーニング目的関数に損失を追加する。
• 実験ではバッチ正則化とReLU活性化関数を用い、DeCovを全結合層またはプーリングされた特徴マップに適用する。
• 正則化効果を調整するためのDeCovハイパーパrameter（λ）をチューニングし、さまざまな値においても安定性が確認された。
• ドロップアウトと組み合わせてDeCovを適用し、一般化性能および過学習低減への補完的効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 隠れ活性化間の相互共分散を明示的に最小化することで、深層ネットワークにおける過学習が軽減されるか？
• RQ2 表現の相関を低減することで、ドロップアウトのような標準的な正則化手法よりも優れた一般化性能が得られるか？
• RQ3 DeCovは、さまざまなデータセット、ネットワークアーキテクチャ、およびトレーニングデータ量のスケールにおいて、どのように性能を発揮するか？
• RQ4 DeCovはドロップアウトと組み合わせて効果的に機能するか、それとも互いに干渉するか？
• RQ5 DeCovは、Network in Networkのような完全畳み込みネットワークに対しても効果的に適用可能か？

主な発見

• ImageNet（128×128解像度）において、DeCovを単独で適用した場合、訓練・検証精度の差が59.35%から14.7%にまで低下した。
• Network in Networkアーキテクチャにおいて、DeCovはトップ-1の訓練・検証差を約3%、トップ-5差を2%低下させた。
• すべての実験において、DeCov単体で過学習が一貫して軽減され、ベースラインと比較して一般化性能が維持または向上した。
• ドロップアウトと組み合わせた場合、DeCovとドロップアウトの併用により、すべての設定で最高の検証精度が達成され、訓練・検証差が最小となった。
• ドロップアウトで事前学習したネットワークにDeCovを追加しても、性能向上が得られず、わずかに劣化する場合があった。これは、2つの正則化手法間に干渉の可能性があることを示唆している。
• DeCov損失は、LeNet、AlexNet、Network in Networkといった多様なアーキテクチャおよびMNIST、CIFAR10/100、ImageNetといったさまざまなデータセットで有効であり、広範な適用可能性を示している。