[論文レビュー] Modeling Generalization in Machine Learning: A Methodological and Computational Study

Pietro Barbiero, Giovanni Squillero+1 more|arXiv (Cornell University)|Jun 28, 2020

Machine Learning and Data Classification参考文献 44被引用数 28

ひとこと要約

本研究では、109個の公開分類データセットを分析し、機械学習の一般化をモデル化する。データセットの特性がモデル性能に与える影響に注目し、訓練データの凸包（convex hull）が補間（interpolation）と外挿（extrapolation）を区別する上で重要な要因であることを示した。次に、次元性が一般化性能と意外に弱い相関を示すことが判明し、一般的に信じられている「次元の呪い」の仮定に疑問を呈した。高容量モデルが高次元空間でも良好に一般化することを示唆している。

ABSTRACT

As machine learning becomes more and more available to the general public, theoretical questions are turning into pressing practical issues. Possibly, one of the most relevant concerns is the assessment of our confidence in trusting machine learning predictions. In many real-world cases, it is of utmost importance to estimate the capabilities of a machine learning algorithm to generalize, i.e., to provide accurate predictions on unseen data, depending on the characteristics of the target problem. In this work, we perform a meta-analysis of 109 publicly-available classification data sets, modeling machine learning generalization as a function of a variety of data set characteristics, ranging from number of samples to intrinsic dimensionality, from class-wise feature skewness to $F1$ evaluated on test samples falling outside the convex hull of the training set. Experimental results demonstrate the relevance of using the concept of the convex hull of the training data in assessing machine learning generalization, by emphasizing the difference between interpolated and extrapolated predictions. Besides several predictable correlations, we observe unexpectedly weak associations between the generalization ability of machine learning models and all metrics related to dimensionality, thus challenging the common assumption that the extit{curse of dimensionality} might impair generalization in machine learning.

研究の動機と目的

• 機械学習の一般化性能と相関するデータセットの特性を特定すること。
• 訓練データの凸包が、ML予測における補間と外挿を区別する信頼できる代理指標として機能するかどうかを評価すること。
• 高次元性が機械学習における一般化性能を必然的に損なうという広く信じられている信念に挑戦すること。
• 特に補間・外挿予測の両方を対象として、データセット特性に基づいて一般化能力を予測するメタモデルを開発すること。

提案手法

• 著者らは、OpenMLなどのキュレート済みデータソースから入手可能な109個の公開分類データセットを対象にメタ分析を実施した。
• サンプル数、特徴量数、クラスごとの特徴量の偏り、内挿次元（intrinsic dimensionality）など、多様なデータセット特性を計算した。
• 訓練セットの凸包を計算し、テスト点を「内部（補間）」または「外部（外挿）」に分類した。
• 最先端の分類器（例：ロジスティック回帰、SVM、ランダムフォレスト）を訓練し、補間・外挿の両方のテスト点に対して評価した。
• F1スコアなどのモデル性能指標とデータセット特性との関連をモデル化するために、記号的回帰（symbolic regression）を用いた。
• パレート最適解の比較を通じて、データセット特性が凸包内と外でのモデル性能に与える相対的影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 データセット特性は、機械学習モデルの一般化性能とどのように相関するか？
• RQ2 訓練データの凸包は、モデルの一般化能力をどの程度正確に予測できるか？
• RQ3 「次元の呪い」が示唆するように、次元性と一般化性能の間に有意な関係があるか？
• RQ4 異なる機械学習モデル（例：LR、SVC、RF）は、データセット特性に応じて一般化能力にどのような差を示すか？
• RQ5 データセット特性は、補間予測と外挿予測の両方において、モデルの一般化性能が良好になるかどうかを信頼性高く予測できるか？

主な発見

• 訓練データの凸包は一般化性能の強力な予測子であり、補間（内部）予測では外挿（外部）予測よりも顕著に高い性能を示した。
• 一般化性能と次元関連指標との間には予想に反して弱い相関が認められ、高次元性が一般化性能を必然的に損なうという仮定に疑問を呈した。
• ランダムフォレストのような高容量モデルは、補間領域および外挿領域の両方でより頑健な一般化を示し、データセット固有の特性にあまり依存しないことが示唆された。
• データセット特性から補間性能（F1_in）を予測することは可能で、良好にモデル化された一方、外挿性能（F1_out）の予測は著しく困難であった。
• 内挿次元比とクラスごとの特徴量相関には弱い正の相関（ρ = 0.45）が認められ、特徴量の重複が一般化に与える影響は限定的であることが示唆された。
• 結果から、現実のデータセットはすべての可能なデータセットの代表的でないサブセットである可能性が示唆され、理論モデルが予測するよりもMLモデルが良好に一般化する理由の一つを説明できる可能性がある。