[論文レビュー] Overly Optimistic Prediction Results on Imbalanced Data: Flaws and Benefits of Applying Over-sampling.

Gilles Vandewiele, Isabelle Dehaene+10 more|arXiv (Cornell University)|Jan 15, 2020

Neonatal and fetal brain pathology被引用数 9

ひとこと要約

この論文は、不均衡な心電図データを用いた機械学習研究における根本的なメソッド論的欠陥を特定している：訓練用とテスト用にデータを分割する前にオーバーサンプリングを適用すると、性能評価が不適切に楽観的になる。人工データセットを用いたデータ漏洩の実証と実世界の再現を通じて、分割の前に行われるオーバーサンプリングがモデルの性能を誇張し、一般化能力を損なうことを示し、妥当な評価を保証するための正しいデータ分割の順序を提唱している。

ABSTRACT

Information extracted from electrohysterography recordings could potentially prove to be an interesting additional source of information to estimate the risk on preterm birth. Recently, a large number of studies have reported near-perfect results to distinguish between recordings of patients that will deliver term or preterm using a public resource, called the Term/Preterm Electrohysterogram database. However, we argue that these results are overly optimistic due to a methodological flaw being made. In this work, we focus on one specific type of methodological flaw: applying over-sampling before partitioning the data into mutually exclusive training and testing sets. We show how this causes the results to be biased using two artificial datasets and reproduce results of studies in which this flaw was identified. Moreover, we evaluate the actual impact of over-sampling on predictive performance, when applied prior to data partitioning, using the same methodologies of related studies, to provide a realistic view of these methodologies' generalization capabilities. We make our research reproducible by providing all the code under an open license.

研究の動機と目的

• 不均衡なデータセットにおいて、データ分割の前にオーバーサンプリングを適用することがモデル性能評価に与える影響を調査すること。
• Term/Preterm Electrohysterogramデータベースを用いた研究において、この手法が予測結果を不適切に楽観的かつ偏ったものにすることを実証すること。
• 正しい手順で適用された場合のオーバーサンプリングの実際の利益が予測性能に与える影響を現実的かつ客観的に評価すること。
• オーバーサンプリングを適用する前に正しいデータ分割の順序を採用することで、メソッド論的厳密性を高めることを提唱すること。
• すべてのコードをオープンライセンスで公開することで、再現性を確保すること。

提案手法

• 著者らは、現実世界のデータ分布の問題を模倣するため、制御されたクラス不均衡を持つ2つの人工データセットを構築した。
• 訓練用とテスト用にデータを分割する前にオーバーサンプリング手法（例：SMOTE やランダムオーバーサンプリング）を適用することで、データ漏洩を誘発した。
• この欠陥のあるアプローチを用いた既存の論文の結果を再現し、性能指標に生じるバイアスを検証した。
• 正しいデータ分割の順序（まず分割し、その後訓練セットにのみオーバーサンプリングを適用）を用いて、同じ手法を再評価した。
• AUC や正確度などの標準的な評価指標を用いて、欠陥のあるワークフローと正しいワークフローの間で性能を比較した。
• すべての実験は、再現性と透明性を確保するため、オープンソースコードで実装された。

実験結果

リサーチクエスチョン

• RQ1 データ分割の前にオーバーサンプリングを適用することは、不均衡なデータセットにおいて、偏った過剰な楽観的評価を引き起こすか？
• RQ2 この誤った手法は、Term/Preterm Electrohysterogramデータベースを用いた研究において、報告された予測性能をどの程度誇張するか？
• RQ3 適切なデータ分割後にオーバーサンプリングを適用した場合と、それより前に適用した場合とで、実際の性能はどのように異なるか？
• RQ4 過去の研究で用いられた同じ手法を、正しいデータ処理手順に修正することで再現可能か？ これにより、より現実的な一般化能力が明らかになるか？
• RQ5 オーバーサンプリングを早期に適用した場合、データ漏洩がモデル評価に及ぼす影響は何か？

主な発見

• 訓練用とテスト用にデータを分割する前にオーバーサンプリングを適用すると、データ漏洩が発生し、過剰に楽観的な性能評価が生じる。
• この誤った手法により、AUC や正確度の値が誇張され、未学習データに対する真のモデル一般化能力を反映していない。
• 適切な分割後に訓練セットにのみオーバーサンプリングを適用した場合、性能指標は顕著に低下し、以前の結果が誤解を招くものであったことが示された。
• 誤った手法を再現することで、著者らは以前に報告されたほぼ完璧な結果を再現し、楽観的評価の原因を確認した。
• 正しい手順でオーバーサンプリングを適用するとモデルの頑健性が向上するが、近似完璧な性能は得られず、モデルの真の一般化能力が明らかになった。
• 著者らは、過去の研究で観察された高い性能は、主に不適切なデータ処理によるものであり、モデルの優位性によるものではないことを実証した。