[論文レビュー] Early Stopping without a Validation Set

Maren Mahsereci, Lukas Balles+2 more|arXiv (Cornell University)|Mar 28, 2017

Neural Networks and Applications参考文献 15被引用数 27

ひとこと要約

本論文では、局所的勾配統計を用いて勾配がノイズが多くなる（過学習の兆候）ことを検出することで、検証データセットを必要とせず、早期停止を実現する新しい手法、eb-criterionを提案する。この手法により、訓練データをフルに活用でき、線形モデル、ロジスティック回帰、深層ニューラルネットワークのあらゆるモデルで競争力ある汎化性能を達成する。実験では、データが限られた状況下で、検証データに基づく早期停止を上回ることを示している。

ABSTRACT

Early stopping is a widely used technique to prevent poor generalization performance when training an over-expressive model by means of gradient-based optimization. To find a good point to halt the optimizer, a common practice is to split the dataset into a training and a smaller validation set to obtain an ongoing estimate of the generalization performance. We propose a novel early stopping criterion based on fast-to-compute local statistics of the computed gradients and entirely removes the need for a held-out validation set. Our experiments show that this is a viable approach in the setting of least-squares and logistic regression, as well as neural networks.

研究の動機と目的

• 標準的な早期停止法が保持された検証データセットを必要としているという制限を是正すること。これにより、訓練データの利用可能性が低下する。
• 外部のデータ分割に依存せずに過学習を検出できる基準を開発し、訓練データをフルに活用できるようにすること。
• 最適化の過程で汎化性能の代理として、局所的勾配統計を活用すること。
• 線形回帰、ロジスティック回帰、深層ニューラルネットワークを含む多様なモデルに対して、この手法を評価すること。
• 個々のパラメータごとの停止を可能とし、訓練中のモデルの複雑さを細かく制御すること。

提案手法

• eb-criterionは、各勾配成分の信号対ノイズ比を、二乗勾配とその経験的分散を用いて計算する：$ f_k = m \cdot (\nabla L_\mathcal{B}^k)^2 / \hat{\Sigma}_k $、ここで$ \hat{\Sigma}_k $は勾配成分$ k $の推定分散である。
• 全体の停止信号は、すべてのパラメータにおける$ f_k $の平均であり、勾配が情報量が多いと増加し、ノイズが多くなると減少する。
• 指数的移動平均を用いて、時間経過に伴う勾配統計を滑らかにし、全パラメータが有効なウォームアップ段階を可能にする。
• 平均$ f_k $がしきい値を下回ると、停止がトリガーされ、これによりさらなる最適化が過学習のリスクを伴うことを示している。
• 本手法は、バッチ勾配降下法および確率的勾配降下法の両方と互換性があり、計算コストは最小限に抑えられる。
• 拡張版では、基準を要素ごとに適用し、勾配の信号対ノイズ比が低下したパラメータを個別に「凍結」可能にする。

実験結果

リサーチクエスチョン

• RQ1 訓練データの勾配にのみ依存することで、検証データセットを必要とせずに、早期停止を効果的に行うことは可能か？
• RQ2 局所的勾配統計は、最適化の過程で過学習の兆候を信頼性高く検出できるか？
• RQ3 検証データセットを不要とする早期停止基準は、標準的な検証データに基づく手法よりも優れた汎化性能を達成できるか？
• RQ4 本手法を要素ごとのパラメータ制御に拡張可能か？ これにより、動的なモデル複雑度の低減が可能か？
• RQ5 データが限られたモデルでは、検証データセットのサイズが制限されるが、本手法はそのような状況でも効果を発揮するか？

主な発見

• SECTORデータセットでは、小さな検証データセットにより性能推定値の分散が高くなるため、eb-criterionは検証ベースの早期停止を上回った。
• SECTORデータセットでは、すべての訓練データを活用しているにもかかわらず、eb-criterionは検証ベースの停止法よりも低いテスト損失を達成した。これは、汎化推定値の分散が低減されたためである。
• SECTORにおけるロジスティック回帰および浅いニューラルネットワークの実験では、eb-criterionは過学習を防止し、検証ベースの手法と同等またはそれ以上の性能を示した。
• MNISTデータセットでは、要素ごとのeb-criterionにより、1層で最大80%のパラメータが、全ネットワーク全体では約50%のパラメータが訓練終了時点で凍結された。これは、有効なモデル複雑度の顕著な低減を示している。
• 多数のパラメータを凍結しても、要素ごとの停止なしで訓練されたモデルと同等のテスト損失を達成した。これは、効果的な汎化制御が可能であることを示している。
• 本手法は計算コストをほとんど増加させず、標準的な確率的勾配降下法とも互換性があるため、実世界の深層学習応用に実用的である。