[論文レビュー] Overfitting Mechanism and Avoidance in Deep Neural Networks

Shaeke Salman, Xiuwen Liu|arXiv (Cornell University)|Jan 19, 2019

Neural Networks and Applications参考文献 19被引用数 107

ひとこと要約

本論文は、連続的な勾配更新とソフトマックス入力のスケーリングが原因となる過適合を深層ニューラルネットワークで分析し、複数のモデルを用いたコンセンサスベースの分類アルゴリズムを提案してあいまいに分類されたサンプルを識別・拒否し、少ない訓練データでの精度を向上させる。

ABSTRACT

Assisted by the availability of data and high performance computing, deep learning techniques have achieved breakthroughs and surpassed human performance empirically in difficult tasks, including object recognition, speech recognition, and natural language processing. As they are being used in critical applications, understanding underlying mechanisms for their successes and limitations is imperative. In this paper, we show that overfitting, one of the fundamental issues in deep neural networks, is due to continuous gradient updating and scale sensitiveness of cross entropy loss. By separating samples into correctly and incorrectly classified ones, we show that they behave very differently, where the loss decreases in the correct ones and increases in the incorrect ones. Furthermore, by analyzing dynamics during training, we propose a consensus-based classification algorithm that enables us to avoid overfitting and significantly improve the classification accuracy especially when the number of training samples is limited. As each trained neural network depends on extrinsic factors such as initial values as well as training data, requiring consensus among multiple models reduces extrinsic factors substantially; for statistically independent models, the reduction is exponential. Compared to ensemble algorithms, the proposed algorithm avoids overgeneralization by not classifying ambiguous inputs. Systematic experimental results demonstrate the effectiveness of the proposed algorithm. For example, using only 1000 training samples from MNIST dataset, the proposed algorithm achieves 95% accuracy, significantly higher than any of the individual models, with 90% of the test samples classified.

研究の動機と目的

• データ量を超えた深層ニューラルネットワークにおける過適合がどのように生じるかを説明する。
• 連続的な勾配更新とソフトマックス入力のスケーリングが検証損失の増加をもたらすことを示す。
• あいまいなサンプルを拒否することで過適合を回避するコンセンサスベースの分類アルゴリズムを提案する。
• 複数モデル間のコンセンサスが外的要因を低減し、特に小さな訓練データセットで内在的な精度を向上させることを示す。

提案手法

• MNIST上で訓練済みネットワーク解の間を補間することによる良好な解の豊富さの実証分析。
• トレーニングダイナミクスの観察と分析では、ソフトマックス入力のスケーリング効果により訓練損失は低下する一方で検証損失が増加することを示す。
• 複数モデルからの確率を用いて分類を決定するかあいまいサンプルを拒否する、コンセンサスベースの分類アルゴリズム（アルゴリズム1）の開発。
• 複数のアーキテクチャとデータセットを用いた実験により、内在的（一貫して分類される）対外在的（ランダム要因）分類を評価する。
• 内在的精度とCCSサンプル比に対する異なる閾値 p_t の影響を評価する。
• 単一モデルの性能との比較およびCCS結果に対するドロップアウト効果の検討。

実験結果

リサーチクエスチョン

• RQ1 過剰なパラメータ化と豊富な良解があるにもかかわらず、深層ニューラルネットワークでなぜ過剰適合が生じるのか。
• RQ2 複数モデルにまたがるコンセンサスベースの手法は、過度に一般化したりあいまいなサンプルを識別・拒否して、限られたデータでの一般化を改善できるか。
• RQ3 正しく分類されたサンプルと誤って分類されたサンプルのトレーニングダイナミクスは、ソフトマックス入力のスケーリングとクロスエントロピー損失とどのように関連するか。
• RQ4 モデル多様性（異なるアーキテクチャ）と正則化（ドロップアウト）が内在的分類精度に与える影響は何か。

主な発見

• 連続的な勾配更新がソフトマックス入力の大きさを増大させることにより、訓練損失が低下する一方で検証損失が増加することで、過適合が現れることがある。
• 誤って分類されたサンプルが検証損失の上昇を引き起こす一方で、正しく分類されたサンプルの損失は減少する。
• 複数モデルを用いたコンセンサスベースの分類アプローチは、一貫して分類されるサンプルを分類し、あいまいなものを拒否することで内在的精度を改善し、特に小さな訓練データセットで有効。
• 閾値パラメータ p_t を用いることで、個々のモデルと比較して内在的精度と一貫して分類されるサンプルの割合（CCS）を増加させる。
• 限られたデータでの訓練時（例: MNIST 1000 training samples）に顕著な精度向上をもたらし、アーキテクチャを跨る頑健性を示す。
• ドロップアウトとアンサンブル様のダイナミクスはCCSに影響を及ぼすが、コンセンサスメソッドは正則化を変えても単一モデルを上回ることがあり得る。