[論文レビュー] A Leisurely Look at Versions and Variants of the Cross Validation Estimator

Waleed A. Yousef|arXiv (Cornell University)|Jul 31, 2019

Advanced Statistical Methods and Models参考文献 19被引用数 11

ひとこと要約

この論文は、分類における誤差率およびAUC推定のための交差検証（CV）の複数のバージョンを形式化し、比較する。その結果、leave-one-out、K-fold、繰り返しK-fold CV のみが非冗長かつ数学的に整合していることを証明する。繰り返しK-fold CVは唯一の滑らか（smooth）な推定器であり、条件付き性能と平均性能の両方の推定精度が実証的に類似している。本研究では、冗長なバージョンの使用を中止し、包括的な比較研究および繰り返しK-fold CVの厳密な分散推定法の開発を提言する。

ABSTRACT

Many versions of cross-validation (CV) exist in the literature; and each version though has different variants. All are used interchangeably by many practitioners; yet, without explanation to the connection or difference among them. This article has three contributions. First, it starts by mathematical formalization of these different versions and variants that estimate the error rate and the Area Under the ROC Curve (AUC) of a classification rule, to show the connection and difference among them. Second, we prove some of their properties and prove that many variants are either redundant or not smooth. Hence, we suggest to abandon all redundant versions and variants and only keep the leave-one-out, the $K$-fold, and the repeated $K$-fold. We show that the latter is the only among the three versions that is smooth and hence looks mathematically like estimating the mean performance of the classification rules. However, empirically, for the known phenomenon of weak correlation, which we explain mathematically and experimentally, it estimates both conditional and mean performance almost with the same accuracy. Third, we conclude the article with suggesting two research points that may answer the remaining question of whether we can come up with a finalist among the three estimators: (1) a comparative study, that is much more comprehensive than those available in literature and conclude no overall winner, is needed to consider a wide range of distributions, datasets, and classifiers including complex ones obtained via the recent deep learning approach. (2) we sketch the path of deriving a rigorous method for estimating the variance of the only smooth version, repeated $K$-fold CV, rather than those ad-hoc methods available in the literature that ignore the covariance structure among the folds of CV.

研究の動機と目的

• 誤差率およびAUC推定に用いられるさまざまな交差検証のバージョンおよび変種の間の数学的関係と相違点を明確に形式化すること。
• 多くの既存のCV変種が冗長または滑らかでないことを証明し、標準的実践から排除する根拠を示すこと。
• 3つの主要なバージョンの中で、繰り返しK-fold CVが唯一滑らかであることを確立し、分類ルールの平均性能を数学的に整合的に推定可能であることを示すこと。
• 2つの主要な研究方向を提言する：(1) 異なるデータセット、分類器（深層学習モデルを含む）、分布を対象とした包括的比較研究、および (2) フォールド間の共分散を適切に考慮する繰り返しK-fold CVの分散推定法の厳密な導出。

提案手法

• 本論文は、leave-one-out、K-fold、繰り返しK-fold CVを含む、さまざまなCVバージョンにおける誤差率およびAUC推定の数学的形式化を提供する。
• 数学的解析を用いて、滑らかさが信頼性の高い推定に不可欠であることを示し、多くのCV変種が冗長または滑らかでないことを証明する。
• 繰り返しK-fold CVが唯一滑らかであることを示し、これは分類ルールの平均性能を推定する推定量としての性質を意味する。
• 実証的に、繰り返しK-fold CVはフォールド間の弱い相関にもかかわらず、条件付き性能と平均性能の両方をほぼ同一の精度で推定することを示す。
• フォールド間の共分散構造を考慮することで、繰り返しK-fold CVの厳密な分散推定器を導出する道筋を提案する。
• 非滑らかで冗長なCV変種の使用を中止し、3つの主要なバージョン（leave-one-out、K-fold、繰り返しK-fold CV）に集約することを提唱する。

実験結果

リサーチクエスチョン

• RQ1 どの交差検証のバージョンが数学的に冗長または滑らかでないのか。その理由は何か。
• RQ2 フォールド間の相関が弱いにもかかわらず、なぜ繰り返しK-fold CVは条件付き性能と平均性能の両方をよく推定できるのか。
• RQ3 多様なデータセット、分類器（深層学習モデルを含む）、分布を対象とした包括的比較研究により、単一の優れたCV推定器を特定できるか。
• RQ4 フォールドレベルの共分散を適切に考慮する、繰り返しK-fold CVのための厳密な分散推定器を導出することは可能か。それとも、手動的な手法に依存するしかないのか。
• RQ5 CV推定器の数学的性質をどのように形式化すれば、誤差率およびAUC推定におけるそれらの関係と相違点を明確にできるか。

主な発見

• 多くの既存の交差検証の変種は数学的に冗長または滑らかでないため、信頼性に欠け、標準的実践から排除されるべきである。
• 3つの主要なバージョン（leave-one-out、K-fold、繰り返しK-fold）の中で、繰り返しK-fold CVが唯一滑らかである。この性質により、分類ルールの平均性能を数学的に整合的に推定可能である。
• フォールド間の相関が弱いにもかかわらず、繰り返しK-fold CVは実証的に条件付き性能と平均性能の両方をほぼ同一の精度で推定する。
• 本論文は、標準的な実践に残すべきCVバージョンは、leave-one-out、K-fold、繰り返しK-foldの3つに限られ、その中でも繰り返しK-foldが滑らかさの観点から最も妥当であると結論づける。
• 著者らは2つの重要な研究ギャップを特定する：(1) CV推定器の包括的・大規模な比較研究の必要性、および (2) 繰り返しK-fold CVにおけるフォールド共分散を適切に考慮する厳密な分散推定器の必要性。
• 本論文は、手動的な手法に依存する分散推定法を拒否し、繰り返しK-fold CVの背後にある統計的構造を尊重する方法論的枠組みを提唱する。