[論文レビュー] The Mismatch Principle: Statistical Learning Under Large Model Uncertainties

Martin Genzel, Gitta Kutyniok|arXiv (Cornell University)|Aug 20, 2018

Statistical Methods and Inference被引用数 2

ひとこと要約

本論文は、大きなモデル不確実性や不適合性がある状況下でも、二乗損失と凸線形仮説クラスにおける経験的リスク最小化が効果的に学習できることを説明する理論的枠組み「不適合原理（mismatch principle）」を導入する。これは古典的な直交性原理を一般化し、高次元的・非線形的・相関のある設計においてもロバストな学習を可能にする。単一インデックスモデルや変数選択への応用を含む。

ABSTRACT

We study the learning capacity of empirical risk minimization with regard to the squared loss and a convex hypothesis class consisting of linear functions. While these types of estimators were originally designed for noisy linear regression problems, it recently turned out that they are in fact capable of handling considerably more complicated situations, involving highly non-linear distortions. This work intends to provide a comprehensive explanation of this somewhat astonishing phenomenon. At the heart of our analysis stands the mismatch principle, which is a simple, yet generic recipe to establish theoretical error bounds for empirical risk minimization. The scope of our results is fairly general, permitting arbitrary sub-Gaussian input-output pairs, possibly with strongly correlated feature variables. Noteworthy, the mismatch principle also generalizes to a certain extent the classical orthogonality principle for ordinary least squares. This adaption allows us to investigate problem setups of recent interest, most importantly, high-dimensional parameter regimes and non-linear observation processes. In particular, our theoretical framework is applied to various scenarios of practical relevance, such as single-index models, variable selection, and strongly correlated designs. We thereby demonstrate the key purpose of the mismatch principle, that is, learning (semi-)parametric output rules under large model uncertainties and misspecifications.

研究の動機と目的

• 複雑で非線形的かつ高次元的な設定下でも、二乗損失と凸線形モデルを用いた経験的リスク最小化の驚くべきロバスト性を説明すること。
• 真のデータ生成過程が非線形的または高次元的である場合に、大きなモデル不確実性や不適合性下での学習の課題に対処すること。
• 通常最小二乗法の古典的直交性原理を、非線形観測プロセスと相関のある特徴量に拡張すること。
• 単一インデックスモデル、変数選択、強い相関を持つ設計といった実用的状況に適用可能な理論的枠組みを提供すること。

提案手法

• 経験的リスク最小化における理論的誤差バウンドを導出するための汎用的手法として、不適合原理を提案する。これはサブガウス型の入出力ペairに対して有効である。
• 不適合原理を適用し、仮説クラスが不適合であるか、真の関係が非常に非線形であっても有効な誤差バウンドを導出する。
• 凸最適化と統計的学習理論を用いて、モデル不確実性下での線形推定器の性能を分析する。
• 真のモデルと仮定されたモデルの乖離を反映する「不適合項」を組み込むことで、古典的直交性原理を拡張する。
• 高次元的かつ相関のある特徴量設定においてもロバスト性を確保するため、入出力ペアにサブガウス型の仮定を用いる。
• 強い特徴量相関に対して不変であり、半パラメトリック出力ルールに適用可能なバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 なぜ二乗損失と線形モデルを用いた経験的リスク最小化は、深刻なモデル不適合性や非線形歪みがある状況でもうまく機能するのか？
• RQ2 古典的直交性原理は、非線形観測プロセスと高次元的設定に対応するためにどのように一般化できるか？
• RQ3 真のデータ生成過程が非線形的または高次元的である場合に、線形推定器に対してどのような理論的保証を確立できるか？
• RQ4 不適合原理は、大きなモデル不確実性と特徴量相関の下で、どのように学習性能を向上させるか？
• RQ5 この枠組みは、モデル不確実性下での単一インデックスモデルや変数選択問題に、どのように応用できるか？

主な発見

• 不適合原理は、モデル不適合性や非線形歪み下での経験的リスク最小化のロバスト性を説明する汎用的理論的枠組みを提供する。
• この枠組みは、非線形観測プロセスと相関のある設計に対しても、古典的直交性原理を拡張し、理論的有効性を維持する。
• 不適合原理を用いて導出した誤差バウンドは、従来の仮定が失敗する高次元的パrameter設定でも有効である。
• 真のモデルが線形から大きく離れていても、半パラメトリック出力ルールの信頼性ある学習が可能になる。
• 不適合原理は、強い特徴量相関下でも、単一インデックスモデルや変数選択タスクに対して理論的かつ実験的に適用可能である。
• 理論的結果は、任意のサブガウス型入出力ペア（特に高相関を持つものも含む）に対してロバストである。