[論文レビュー] The Shape of Learning Curves: a Review

Tom J. Viering, Marco Loog|arXiv (Cornell University)|Mar 19, 2021

Gaussian Processes and Bayesian Inference被引用数 15

ひとこと要約

このレビューでは、教師あり機械学習における学習曲線の形状について包括的な分析を提供し、良好な曲線（例：べき則または指数的減衰）と、より多くのデータで性能が低下するような非単調的行動を示す不良な曲線を検討する。理論的および実証的証拠を統合し、単調性および曲線モデリングに関する未解決問題を強調するとともに、モデル選択およびメタラーニングのための曲線形状へのより深い考察の必要性を強調する。

ABSTRACT

Learning curves provide insight into the dependence of a learner's generalization performance on the training set size. This important tool can be used for model selection, to predict the effect of more training data, and to reduce the computational complexity of model training and hyperparameter tuning. This review recounts the origins of the term, provides a formal definition of the learning curve, and briefly covers basics such as its estimation. Our main contribution is a comprehensive overview of the literature regarding the shape of learning curves. We discuss empirical and theoretical evidence that supports well-behaved curves that often have the shape of a power law or an exponential. We consider the learning curves of Gaussian processes, the complex shapes they can display, and the factors influencing them. We draw specific attention to examples of learning curves that are ill-behaved, showing worse learning performance with more training data. To wrap up, we point out various open problems that warrant deeper empirical and theoretical investigation. All in all, our review underscores that learning curves are surprisingly diverse and no universal model can be identified.

研究の動機と目的

• 教師あり学習における学習曲線がとりうる形状について体系的な概要を提供し、良好な場合と不良な場合を区別すること。
• 特にガウス過程回帰においてよく見られるべき則や指数関数的形状を支持する理論的および実証的証拠を検討すること。
• 非単調的学習曲線の原因と影響を調査し、特に訓練データの増加に伴う性能の低下を含むこと。
• 学習曲線行動の理解における、特に単調性および一般化に関する理論的および実証的課題を特定すること。
• モデル選択、ハイパーパrameterチューニング、およびメタラーニングへの応用における学習曲線の可能性を検討すること。

提案手法

• 一般化性能と訓練データサイズとの関係として、学習曲線の形式的定義と推定。
• 学習曲線形状を記述するために用いられるパラメトリックモデル（例：べき則、指数関数）のサーベイ。
• 特に解析的に取り扱いやすい学習曲線を有するガウス過程回帰の理論的結果の分析。
• 最適化中の性能の変化を示す訓練曲線と一般化学習曲線の比較を通じて用語の明確化。
• 平均性能を超えて学習曲線行動をよりよく特徴付けるために、中央値、百分位数、損失分布全体といった統計的手法の使用。
• 大規模データセット（例：[107] からのもの）を活用し、メタラーニングフレームワークと学習曲線を統合し、曲線パラメータと行動パターンの研究を実施。

実験結果

リサーチクエスチョン

• RQ1 教師あり学習における学習曲線は一般的にどのような形状をとり、それが良好または不良であるかどうかを決定づける要因は何か？
• RQ2 なぜ一部の学習曲線は、より多くの訓練データで性能が低下するような非単調的行動を示すのか、そしてそのような状況はどのような条件下で発生するのか？
• RQ3 非0-1損失関数に対して、単調な学習曲線を理論的に保証することは可能か、特に適切に定式化されたモデルにおける最尤推定器に関しては？
• RQ4 経験的リスク最小化（ERM）がどのような条件下で単調な学習曲線をもたらすのか？
• RQ5 少ないデータポイントから学習曲線パラメータを信頼性高く予測する方法は何か、これにより効率的なモデル選択とハイパーパrameterチューニングが可能になるか？

主な発見

• 学習曲線はしばしば良好であり、特にガウス過程回帰においてはべき則や指数的減衰のパターンに従う。
• 性能がより多くのデータで低下するような不良な学習曲線は存在し、単なるアーティファクトではないが、まだ十分に理解されていない。
• 学習曲線形状の普遍的なモデルは存在せず、データの増加に伴う単調な改善という仮定に挑戦する多様性がある。
• 訓練損失と一般化リスクの差異は過学習を示し、両者の共同分析は個々の指標よりもより規則的な行動を示す可能性がある。
• 平均性能のみでなく、高確率バインディングや代替統計量（例：中央値、四分位数）を用いることで、学習曲線形状の特徴づけがより適切に行える。
• 大規模な学習曲線データベースは、メタラーニングの応用を可能にするとともに、パラメータ予測や行動要因のより深い解明を可能にする。