[논문 리뷰] Overly Optimistic Prediction Results on Imbalanced Data: Flaws and Benefits of Applying Over-sampling.

Gilles Vandewiele, Isabelle Dehaene외 10명|arXiv (Cornell University)|2020. 01. 15.

Neonatal and fetal brain pathology인용 수 9

한 줄 요약

이 논문은 불균형한 전기자궁도 데이터를 사용하는 기계학습 연구에서 중요한 방법론적 결함을 규명한다: 훈련 및 테스트 세트로 데이터를 분할하기 이전에 오버샘플링을 적용할 경우 성능 평가가 지나치게 낙관적으로 나타날 수 있음을 보여준다. 인공 데이터셋을 통한 데이터 누출 분석과 실제 사례 재현을 통해 저자들은 데이터 분할 이전에 오버샘플링을 적용할 경우 모델 성능이 과도하게 향상되어 일반화 능력이 떨어지며, 유효한 평가를 보장하기 위해 정확한 데이터 분할 순서를 따르도록 권장한다.

ABSTRACT

Information extracted from electrohysterography recordings could potentially prove to be an interesting additional source of information to estimate the risk on preterm birth. Recently, a large number of studies have reported near-perfect results to distinguish between recordings of patients that will deliver term or preterm using a public resource, called the Term/Preterm Electrohysterogram database. However, we argue that these results are overly optimistic due to a methodological flaw being made. In this work, we focus on one specific type of methodological flaw: applying over-sampling before partitioning the data into mutually exclusive training and testing sets. We show how this causes the results to be biased using two artificial datasets and reproduce results of studies in which this flaw was identified. Moreover, we evaluate the actual impact of over-sampling on predictive performance, when applied prior to data partitioning, using the same methodologies of related studies, to provide a realistic view of these methodologies' generalization capabilities. We make our research reproducible by providing all the code under an open license.

연구 동기 및 목표

• 불균형 데이터셋에서 데이터 분할 이전에 오버샘플링을 적용할 경우 모델 성능 평가에 미치는 영향을 조사하는 것.
• 이러한 방법이 Term/Preterm 전기자궁도 데이터베이스를 사용하는 연구에서 지나치게 낙관적이고 편향된 예측 결과를 초래함을 입증하는 것.
• 정확히 적용되었을 경우 오버샘플링의 실제 성능 향상 효과를 현실적으로 평가하는 것.
• 오버샘플링을 적용하기 전에 적절한 데이터 분할 순서를 따르도록 권장함으로써 방법론적 엄밀함을 제고하는 것.
• 모든 코드를 개방형 라이선스 하에 공개하여 재현 가능성을 보장하는 것.

제안 방법

• 저자들은 실제 세계의 데이터 분포 문제를 시뮬레이션하기 위해 제어된 클래스 불균형을 가진 두 개의 인공 데이터셋을 구축한다.
• 데이터를 훈련 및 테스트 세트로 분할하기 이전에 오버샘플링 기법(예: SMOTE 또는 무작위 오버샘플링)을 적용하여 데이터 누출을 유도한다.
• 이러한 결함이 있는 방법을 사용한 이전 논문의 결과를 재현하여 성능 지표의 편향을 검증한다.
• 정확한 데이터 분할 순서—즉, 먼저 분할하고 나서 훈련 세트에만 오버샘플링을 적용하는 방식으로 동일한 방법론을 재평가한다.
• 표준 평가 지표(예: AUC, 정확도)를 사용하여 결함이 있는 워크플로우와 올바른 워크플로우 간의 성능을 비교한다.
• 모든 실험은 재현 가능성과 투명성을 확보하기 위해 오픈소스 코드로 구현된다.

실험 결과

연구 질문

• RQ1 데이터 분할 이전에 오버샘플링을 적용할 경우 불균형 데이터셋에서 편향되고 지나치게 낙관적인 성능 평가가 유도되는가?
• RQ2 이러한 잘못된 방법론이 Term/Preterm 전기자궁도 데이터베이스를 사용하는 연구에서 보고된 예측 성능을 어느 정도 과도하게 높이는가?
• RQ3 적절한 데이터 분할 이후에 오버샘플링을 적용할 경우와 비교해 볼 때, 정확히 적용된 오버샘플링의 실제 성능는 어떻게 되는가?
• RQ4 이전 연구에서 사용된 동일한 방법론을 올바른 데이터 처리 방식으로 수정하면 더 현실적인 일반화 능력이 드러나는가?
• RQ5 오버샘플링을 조기에 적용할 경우 데이터 누출이 모델 평가에 어떤 영향을 미치는가?

주요 결과

• 훈련 및 테스트 세트로 데이터를 분할하기 이전에 오버샘플링을 적용할 경우 데이터 누출이 발생하여 지나치게 낙관적인 성능 평가가 유도된다.
• 이러한 결함이 있는 방법론은 실제 미리보지 않은 데이터에 대한 모델 일반화 능력을 반영하지 못하는 과도하게 높은 AUC 및 정확도 값을 초래한다.
• 적절한 분할 이후에만 훈련 세트에 오버샘플링을 적용할 경우 성능 지표가 크게 하락하며, 이는 이전 결과가 오도된 것임을 시사한다.
• 저자들은 잘못된 방법론을 재현함으로써 이전에 보고된 거의 완벽한 성능 결과를 성공적으로 재현하여 과도한 낙관의 근본 원인을 확인했다.
• 적절히 적용된 오버샘플링은 모델의 강건성을 향상시키지만 거의 완벽한 성능을 내지는 않으며, 이는 모델의 진정된 일반화 능력을 드러낸다.
• 저자들은 이전 연구에서 관찰된 높은 성능가 대부분이 잘못된 데이터 처리 방식에서 비롯된 결과일 뿐 모델의 우월성 때문이 아니라는 점을 입증했다.