[論文レビュー] Robustness investigation of cross-validation based quality measures for model assessment

Thomas Most, Lars Gräning+1 more|arXiv (Cornell University)|Aug 8, 2024

Fault Detection and Control Systems被引用数 4

ひとこと要約

本稿は、機械学習モデルの予測性能を評価するための交差検証に基づく品質指標、特に予測係数（CoP）の頑健性と精度について調査する。残差ブートストラップを用いた信頼区間と局所誤差推定値を提案し、k-フォールド交差検証が、特に限られた訓練データにおいて、LOO（1つを除く交差検証）よりも信頼性の高いCoP推定値をもたらすことを示している。

ABSTRACT

In this paper the accuracy and robustness of quality measures for the assessment of machine learning models are investigated. The prediction quality of a machine learning model is evaluated model-independent based on a cross-validation approach, where the approximation error is estimated for unknown data. The presented measures quantify the amount of explained variation in the model prediction. The reliability of these measures is assessed by means of several numerical examples, where an additional data set for the verification of the estimated prediction error is available. Furthermore, the confidence bounds of the presented quality measures are estimated and local quality measures are derived from the prediction residuals obtained by the cross-validation approach.

研究の動機と目的

• 機械学習モデルの予測精度に対する交差検証に基づく品質指標の信頼性と頑健性を評価すること。
• 未知のデータ予測のためのモデルに依存しない指標としての予測係数（CoP）の性能を評価すること。
• 追加のモデル訓練を伴わずに、残差ブートストラップを用いてCoPの統計的信頼区間を推定すること。
• 局所的なモデル適合不良を特定するための局所的品質指標（局所RMSEと局所CoP）を開発すること。
• k-フォールドとLOOの異なる交差検証戦略を、予測誤差推定の安定性と保守性の観点から比較すること。

提案手法

• k-フォールド交差検証を用いて予測誤差を推定し、説明変動のモデルに依存しない指標として予測係数（CoP）を計算する。
• 交差検証の残差に直接ブートストラップを適用し、モデル再訓練を伴わずにCoPの信頼区間を導出する。
• 交差検証の残差を用いて各データポイントごとに計算される局所誤差指標（局所RMSEと局所CoP）を導入し、局所的なモデル品質評価を可能にする。
• 訓練データサイズの変動に応じて、検証データが既知の数値例を用いてCoP推定値と信頼区間の妥当性を検証する。
• 特に限られた訓練データに対して、k-フォールドとLOOの交差検証の安定性と保守性の観点からCoP推定値を比較する。
• 10個の入力と4つの出力を有する実世界の自動運転車シミュレーション（「カットイン」シナリオ）を用いて、最大1866件の訓練データで手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 異なる交差検証手順を用いて推定される予測係数（CoP）の頑健性と精度はどの程度か？
• RQ2 追加のモデル訓練を伴わず、交差検証の残差からブートストラップに基づくCoPの信頼区間を信頼性を持って推定できるか？
• RQ3 限られた訓練データに対して、k-フォールドとLOOの交差検証は、CoP推定値の安定性と保守性においてどのように異なるか？
• RQ4 局所的品質指標（局所RMSEと局所CoP）は、モデル性能が低い領域をどの程度正確に特定できるか？
• RQ5 推定されたCoP値は、独立した検証データにおける実際の予測性能とどの程度相関しているか？

主な発見

• k-フォールド交差検証は、特に小さな訓練データセットにおいて、LOOよりも保守的かつ安定したCoP推定値を生成する。
• ブートストラップで導出されたCoPの信頼区間は、検証データの真の予測誤差とよく一致し、その信頼性が裏付けられた。
• 「カットイン」シナリオでは、訓練点数が280点のときCoPは66.6％から、1866点のとき82.4％に上昇した。検証用の決定係数（CoD）値は推定されたCoPとよく一致した。
• 局所CoPと局所RMSE指標は、高い予測誤差を示す領域を的確に同定でき、追加のサンプリングによる局所的モデル改善が可能になった。
• 1866件の訓練点でさえも、モデルは時間的頭巾の挙動を完全に捉えきれなかったが、推定されたCoPは依然として予測品質の信頼できる指標であった。
• 残差ブートストラップ法により、再訓練を伴わず正確な信頼区間が得られたため、モデル評価パイプラインへの実用的導入が容易になった。