[論文レビュー] Estimating the Standard Error of Cross-Validation-Based Estimators of Classification Rules Performance

Waleed A. Yousef|arXiv (Cornell University)|Aug 1, 2019

Advanced Statistical Methods and Models参考文献 8被引用数 7

ひとこと要約

本稿では、交差検証（CV）に基づく分類ルールの性能推定器の分散推定における、きめ細やかな分散推定の欠如に取り組む、新しい影響関数（IF）に基づく手法を提案する。IF手法は一部のバイアスを伴いながらも低いRMS誤差を示すが、実験的結果は驚くべきことに、従来の便宜的アプローチがIF手法を上回ることを示しており、メソドロジカルなトレードオフおよび理論的基盤に関するさらなる研究を促している。

ABSTRACT

First, we analyze the variance of the Cross Validation (CV)-based estimators used for estimating the performance of classification rules. Second, we propose a novel estimator to estimate this variance using the Influence Function (IF) approach that had been used previously very successfully to estimate the variance of the bootstrap-based estimators. The motivation for this research is that, as the best of our knowledge, the literature lacks a rigorous method for estimating the variance of the CV-based estimators. What is available is a set of ad-hoc procedures that have no mathematical foundation since they ignore the covariance structure among dependent random variables. The conducted experiments show that the IF proposed method has small RMS error with some bias. However, surprisingly, the ad-hoc methods still work better than the IF-based method. Unfortunately, this is due to the lack of enough if compared to the bootstrap estimator. This opens the research for three points: (1) more comprehensive simulation study to clarify when the IF method win or loose; (2) more mathematical analysis to figure out why the ad-hoc methods work well; and (3) more mathematical treatment to figure out the connection between the appropriate amount of smoothness and decreasing the bias of the IF method.

研究の動機と目的

• 分類ルールにおける交差検証に基づく性能推定器の分散推定のための、きめ細やかな数学的枠組みの欠如に対処すること。
• ブートストラップ推定器で成功した影響関数（IF）アプローチを用いて、理論的に整合性のある分散推定器を開発すること。
• 理論的根拠のないにもかかわらず、実務で優れた性能を示す便宜的分散推定手法が、なぜIFに基づく手法を上回るのかを調査すること。
• IFに基づく手法が便宜的手続きを上回る条件を、さらなるシミュレーションと分析を通じて特定すること。
• 推定器の滑らかさとIF手法におけるバイアス低減の関係を改善した精度を得るために探求すること。

提案手法

• 非パラメトリック統計的手法である影響関数（IF）アプローチを採用し、CVに基づく性能推定器の分散を推定する。
• 性能推定値を経験的分布の統計的関数として扱い、CVに基づく推定器の影響関数を導出する。
• IFを用いて、CVの各折りたたみ間の依存構造を考慮したCV推定器の漸近的分散を計算する。
• IFに基づく分散推定器を分類ルールに適用し、シミュレーション研究を通じてその性能を評価する。
• 共分散を無視する一般的に用いられる便宜的アプローチと、IFに基づく分散推定値を比較する。
• 分散推定器の精度を評価する指標として、平均二乗誤差（RMS誤差）を用いる。

実験結果

リサーチクエスチョン

• RQ1 CVに基づく分類ルールのIFに基づく分散推定器は、どのような条件下で便宜的分散推定手法を上回り、あるいは下回るのか？
• RQ2 理論的根拠のないにもかかわらず、共分散構造を無視する便宜的分散推定手順が、なぜ理論的に裏付けられたIF手法を上回るのか？
• RQ3 分類ルールの滑らかさの度合いが、IFに基づく分散推定器のバイアスにどのように影響するのか？
• RQ4 推定器の滑らかさと、IFに基づく分散推定フレームワークにおけるバイアス低減の理論的関連性は何か？
• RQ5 より包括的なシミュレーション研究により、IF手法が優位となる状況を明確にできるか？

主な発見

• 提案された影響関数に基づく手法は、CVに基づく性能推定器の分散推定において、低い平均二乗誤差（RMS誤差）を達成した。
• 低いRMS誤差にもかかわらず、IFに基づく手法は顕著なバイアスを示しており、これが実務での性能不足を説明している可能性がある。
• 驚くべきことに、理論的根拠のない従来の便宜的分散推定手法—共分散構造を無視しているにもかかわらず—実験的評価においてIFに基づく手法を上回った。
• IF手法の性能不足は、ブートストラップ推定器に比べて影響関数の推定が不十分であることに起因しており、改善された実装またはスムージングの必要性を示唆している。
• 結果は、CVの各折りたたみ間の依存関係を無視するにもかかわらず、便宜的手法が優れた性能を示す理由についての理論的理解の欠如という重要な研究ギャップを浮き彫りにした。
• 本研究は、IF手法が有利となる条件を明確にするためのさらなるシミュレーション研究と、バイアス低減における滑らかさの役割を深く分析する数学的考察の必要性を提起している。