[論文レビュー] Failures of model-dependent generalization bounds for least-norm interpolation

Peter L. Bartlett, Philip M. Long|arXiv (Cornell University)|Oct 16, 2020

Machine Learning and Algorithms参考文献 31被引用数 15

ひとこと要約

この論文は、過パラメータ化された設定における最小ノルム線形補間器に適用する際、統計的学習理論で一般的に用いられるモデル依存の一般化境界が根本的に誤りである可能性があることを示している。本研究では、真の超過リスクが消えるにもかかわらず、境界がゼロから離れたままとなる場合があり、その境界は常に任意に緩いことがあると示している。これは自然なデータ分布下で成立する。

ABSTRACT

We consider bounds on the generalization performance of the least-norm linear regressor, in the over-parameterized regime where it can interpolate the data. We describe a sense in which any generalization bound of a type that is commonly proved in statistical learning theory must sometimes be very loose when applied to analyze the least-norm interpolant. In particular, for a variety of natural joint distributions on training examples, any valid generalization bound that depends only on the output of the learning algorithm, the number of training examples, and the confidence parameter, and that satisfies a mild condition (substantially weaker than monotonicity in sample size), must sometimes be very loose -- it can be bounded below by a constant when the true excess risk goes to zero.

研究の動機と目的

• 過パラメータ化された設定における最小ノルム線形補間の文脈で、モデル依存一般化境界の信頼性を調査すること。
• 一般的に用いられる一般化境界が、補間モデルにおいて空虚またはあまりに楽観的になってしまう条件を同定すること。
• アルゴリズムの出力、標本サイズ、信頼パラメータにのみ依存する有効な境界であっても、真の一般化性能を捉えられないことがあることを示すこと。
• 真の超過リスクがゼロに近づくにもかかわらず、このような境界が常に正の定数より下限づけられることを示すこと。
• 一様収束に基づくツールが、補間モデルにおける良性過適合を分析するうえで有用でないことを挑戦すること。

提案手法

• 訓練データを完全に適合する過パラメータ化された設定における最小ノルム線形補間子を分析する。
• 真の超過リスクが標本サイズの増加に伴いゼロに近づくような、データ分布の族を構築する。
• やや弱い条件（例：標本サイズにおける部分加法性）を満たす任意の有効な一般化境界が、この設定ではゼロから離れたまま保たれることを証明する。
• ポアソン化された標本抽出モデルと集中不等式（チェルノフ、チェビシェフ）を用いて、標本プロセスにおけるレアイベントの確率を制御する。
• マコフの不等式とチェビシェフの不等式を用いて、有用なサンプル数の尾部確率を制御する。
• 二項分布とポアソン分布の間のカップリング論法を用いて、標本サイズの変動と境界の失敗確率を関連付ける。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化された設定における最小ノルム補間子に対して、モデル依存一般化境界が有効ではあるが、任意に緩いまま残り得るか？
• RQ2 標準的な一般化境界が、補間モデルにおける真のリスクの減少を反映しなくなる条件は何か？
• RQ3 真の超過リスクがゼロに近づくにもかかわらず、一般化境界が正の定数より下限づけられる可能性はあるか？
• RQ4 一様収束の議論は、補間アルゴリズムの真の一般化性能を捉えられていないとされるか？
• RQ5 良性過適合の文脈において、分布依存の複雑さの測度が、モデル依存のものよりもより良い境界を提供できるか？

主な発見

• 自然なデータ分布のクラスにおいて、最小ノルム補間子の真の超過リスクは、標本サイズの増加に伴いゼロに収束する。
• アルゴリズムの出力、標本サイズ、信頼パラメータにのみ依存する任意の有効な一般化境界は、真の超過リスクがゼロに近づく際、正の定数より下限づけられる。
• これは、標本サイズにおける単調性よりも弱い条件のもとでも発生し、このような境界の根本的な限界を示している。
• 境界の緩さは、分析の質の低さによるものではなく、補間設定におけるモデル依存境界の本質的構造に起因する。
• この結果は、仮説クラスにおける一様収束に基づく標準的なツールが、補間モデルにおける一般化を説明するのに十分でない可能性を示唆する。
• 失敗の原因はデータのノイズではなく、高次元線形回帰における良性過適合現象に適応できないモデル依存境界の本質的限界にある。