[論文レビュー] Testing for Overfitting

James Schmidt|arXiv (Cornell University)|May 9, 2023

Machine Learning and Algorithms被引用数 4

ひとこと要約

本稿では、訓練データのみを用いて、集中不等式を活用して訓練データとホールドアウトデータの上での実効性能を比較することで、機械学習モデルにおける過学習の検出を目的とした統計的仮説検定を提案する。この手法により、汎化評価にホールドアウトセットに依存せずに、過学習の定量的検出が可能となり、ヒューリスティックな早期停止に代わる厳密な代替手法を提供する。

ABSTRACT

High complexity models are notorious in machine learning for overfitting, a phenomenon in which models well represent data but fail to generalize an underlying data generating process. A typical procedure for circumventing overfitting computes empirical risk on a holdout set and halts once (or flags that/when) it begins to increase. Such practice often helps in outputting a well-generalizing model, but justification for why it works is primarily heuristic. We discuss the overfitting problem and explain why standard asymptotic and concentration results do not hold for evaluation with training data. We then proceed to introduce and argue for a hypothesis test by means of which both model performance may be evaluated using training data, and overfitting quantitatively defined and detected. We rely on said concentration bounds which guarantee that empirical means should, with high probability, approximate their true mean to conclude that they should approximate each other. We stipulate conditions under which this test is valid, describe how the test may be used for identifying overfitting, articulate a further nuance according to which distributional shift may be flagged, and highlight an alternative notion of learning which usefully captures generalization in the absence of uniform PAC guarantees.

研究の動機と目的

• 機械学習における過学習の検出にホールドアウトセットを用いることの統計的根拠の欠如に対処すること。
• ホールドアウトセットを汎化評価に用いずに、訓練データのみを用いて過学習を定量的に定義・検出する手法を開発すること。
• 一様なPAC学習可能性の保証が成り立たない場合でも有効なテストを提供し、より弱い仮定のもとでの汎化評価を可能にすること。
• 過学習の概念を、早期停止のようなヒューリスティックな手法に代わって、統計的仮説検定に基づいて明確化すること。
• PAC学習可能性の弱い代替手段としての$π$-学習可能性の概念を導入すること。

提案手法

• 本手法は、Hoeffdingの不等式を用いて、コスト関数の実効平均が真の期待値からどれほど逸脱する確率を制限する。
• 集中限界を用いて、訓練データとホールドアウトデータにおける実効リスクの差が統計的に有意であるかどうかを評価する統計的仮説検定を定式化する。
• モデルが過学習していない場合、高い確率で実効平均が互いに近づくという原則に基づく。
• 精度の閾値$\varepsilon$と信頼水準$\delta$を定義し、Hoeffdingの不等式を用いて、信頼性のある検出に必要な標本サイズを計算する。
• 訓練エポック全体にわたりテストを適用し、訓練データにおける性能がホールドアウト性能から著しく乖離し始めることを検出することで、過学習の兆候を特定する。
• 本手法は、仮説クラスがPAC学習可能である必要がなく、代わりに分布固有の学習可能性（$\pi$-学習可能性）に依存するため、実世界の学習問題への適用範囲を広げる。

Figure 1 : Slicing the Cost Function $c:\mathcal{H}\times(\mathcal{X}\times\mathcal{Y})^{\omega}\rightarrow\mathbb{R}$

実験結果

リサーチクエスチョン

• RQ1 ホールドアウトセットに依存せずに、訓練データのみを用いて過学習を検出できるか？
• RQ2 一様なPAC保証が成り立たない状況下で、過学習を厳密に定義・検出するための統計的枠組みは何か？
• RQ3 集中不等式をどのように活用して、訓練データにおける過学習の有効な仮説検定を構築できるか？
• RQ4 提案手法は、早期停止のようなヒューリスティックな手法に比べて、どのような点で改善されるか？
• RQ5 PAC学習可能性が成り立たない場合に、分布固有の学習可能性（$\pi$-学習可能性）が、どのように一般化評価を可能にするか？

主な発見

• 提案された仮説検定は、集中限界を用いて訓練データとホールドアウトデータにおける実効リスクを比較することで、指定された条件下で統計的妥当性が保証された過学習の検出に成功している。
• 本手法は、仮説クラスがPAC学習可能でなくても過学習検出が可能であるため、実世界の学習問題への適用範囲が広がっている。
• 合成データおよびMNISTにおけるシミュレーション結果から、早期停止が適用されていなくても、訓練データの性能がホールドアウト性能から乖離し始めると、検出が可能であることが示された。
• モデルが過学習した後、後続のエポックで一般化性能が回復する動的な過学習パターンに対しても、本テストは有効であることが示され、動的な過学習のパターンに敏感であることが確認された。
• Hoeffdingの不等式の使用により、信頼水準$\delta$と精度$\varepsilon$を用いて第一種の誤り率を厳密に制御でき、標本サイズ$m$が境界のきつさを決定する。
• 本フレームワークは、PAC学習可能性の弱い代替手段としての$\pi$-学習可能性を導入し、より弱い分布固有の仮定のもとでの一般化保証を可能にした。

Figure 2 : Sequences of models $\hat{y}_{\mathsf{S_{1}}},\hat{y}_{\mathsf{S_{2}}},\ldots,\hat{y}_{\mathsf{S_{m}}},\ldots$