[論文レビュー] Learning Curves for Decision Making in Supervised Machine Learning: A Survey

Felix Mohr, Jan N. van Rijn|arXiv (Cornell University)|Jan 28, 2022

Machine Learning and Data Classification被引用数 32

ひとこと要約

この調査は、監督付き機械学習における学習曲線手法をフレームワーク化し、意思決定状況、学習曲線の問い、データ資源によってアプローチを分類し、関連文献を検討する。

ABSTRACT

Learning curves are a concept from social sciences that has been adopted in the context of machine learning to assess the performance of a learning algorithm with respect to a certain resource, e.g., the number of training examples or the number of training iterations. Learning curves have important applications in several machine learning contexts, most notably in data acquisition, early stopping of model training, and model selection. For instance, learning curves can be used to model the performance of the combination of an algorithm and its hyperparameter configuration, providing insights into their potential suitability at an early stage and often expediting the algorithm selection process. Various learning curve models have been proposed to use learning curves for decision making. Some of these models answer the binary decision question of whether a given algorithm at a certain budget will outperform a certain reference performance, whereas more complex models predict the entire learning curve of an algorithm. We contribute a framework that categorises learning curve approaches using three criteria: the decision-making situation they address, the intrinsic learning curve question they answer and the type of resources they use. We survey papers from the literature and classify them into this framework.

研究の動機と目的

• 監督付きMLにおけるデータ取得、早期停止、モデル選択を通知するための学習曲線の利用を動機づける。
• 意思決定状況、学習曲線の問い、データ資源という三つの基準に沿って学習曲線アプローチを分類する統一フレームワークを提供する。
• 提案フレームワーク内で既存文献を調査・分類し、共通の手法とギャップを特定する。
• 学習曲線とその推定に関する経験的、パラメトリック、分布的モデルを論じる。
• アンカー点、飽和、学習曲線の適切性など実用的な考慮事項を強調する。

提案手法

• 学習曲線アプローチの三つの基準分類法を提案：意思決定状況、内在的学習曲線の問い、データ資源。
• 既存文献を調査し、それぞれのアプローチを分類法内で分類する。
• 経験的推定（例：ホールドアウト、交差検証）とモデルに基づく外挿による学習曲線の推定を説明する。
• 学習曲線を適合させるために使用されるモデル、特に逆べき法（inverse power-law）と代替案を論じ、最適適合モデルと予測性能モデルの区別を行う。
• アンカー点、飽和点、および決定支援のための効用ベースの停止点といった概念を概説する。

実験結果

リサーチクエスチョン

• RQ1 学習曲線アプローチは、意思決定状況、回答される問い、使用されるデータ資源に従ってどのように分類できるか。
• RQ2 監督学習におけるデータ取得、早期停止、モデル選択のために学習曲線を使用する既存アプローチの全体像は何か。
• RQ3 どのモデルが学習曲線を最も適合させ、または複数の学習者やデータセットにわたって予測するのに最も適しており、どの条件下でそうなるのか。
• RQ4 経験的推定方法とモデル選択が学習曲線決定の信頼性にどのように影響するか。
• RQ5 実践的な概念（例：アンカー点、飽和、プラトー）は、実務で学習曲線を適用する際に不可欠なのか。

主な発見

• 著者らは、意思決定状況、学習曲線の問い、データ資源の三つの基準に基づく学習曲線アプローチの統一フレームワークを提示する。
• 調査されたアプローチを網羅的に分類し、それらが二値決定に答えるのか、あるいは完全な学習曲線を予測するのかを議論する。
• 逆べき法モデルは、さまざまな学習者に適合させる際の顕著な手法として強調されており、対照的に対数的形式や指数関数的形式などの代替モデルも併記され、最適適合と予測性能の適合性には留意が必要である。
• 経験的学習曲線はホールドアウトまたは交差検証で計算される。イテレーションベースの曲線は、訓練イテレーションや時間の関数としての性能を議論しており、その極限挙動には差がある。
• 調査はアンカー点（s）、飽和点（s_sat）と対応する性能（p_sat）を議論し、良好に動作する曲線の概念（単調性または凸性）を導入している。
• 本論文は学習曲線を意思決定におけるデータ取得コストと訓練コストというより広い意味の効用曲線の概念に位置づけている。