[논문 리뷰] Leakage and the Reproducibility Crisis in ML-based Science

Sayash Kapoor, Arvind Narayanan|arXiv (Cornell University)|2022. 07. 14.

Explainable Artificial Intelligence (XAI)인용 수 139

한 줄 요약

본 논문은 17개 분야에 걸친 데이터 누출로 인한 ML 기반 과학의 재현 성 실패를 조사하고, 미세한 누출 분류체계를 제시하며, 누출 탐지를 위한 모델 정보 시트를 제안한다. 이는 누출이 보정될 때 ML 모델이 로지스틱 회귀보다 우수하지 않다는 시민 전쟁 예측 사례 연구에 의해 뒷받침된다.

ABSTRACT

The use of machine learning (ML) methods for prediction and forecasting has become widespread across the quantitative sciences. However, there are many known methodological pitfalls, including data leakage, in ML-based science. In this paper, we systematically investigate reproducibility issues in ML-based science. We show that data leakage is indeed a widespread problem and has led to severe reproducibility failures. Specifically, through a survey of literature in research communities that adopted ML methods, we find 17 fields where errors have been found, collectively affecting 329 papers and in some cases leading to wildly overoptimistic conclusions. Based on our survey, we present a fine-grained taxonomy of 8 types of leakage that range from textbook errors to open research problems. We argue for fundamental methodological changes to ML-based science so that cases of leakage can be caught before publication. To that end, we propose model info sheets for reporting scientific claims based on ML models that would address all types of leakage identified in our survey. To investigate the impact of reproducibility errors and the efficacy of model info sheets, we undertake a reproducibility study in a field where complex ML models are believed to vastly outperform older statistical models such as Logistic Regression (LR): civil war prediction. We find that all papers claiming the superior performance of complex ML models compared to LR models fail to reproduce due to data leakage, and complex ML models don't perform substantively better than decades-old LR models. While none of these errors could have been caught by reading the papers, model info sheets would enable the detection of leakage in each case.

연구 동기 및 목표

• 데이터 누출이 ML 기반 과학에서 재현 불가능한 결과의 광범위한 원인임을 보여준다.
• 과학적 주장과 관련된 데이터 누출 유형에 대한 미세한 세분화된 분류체를 제공한다.
• ML 기반 과학 보고에서 누출을 탐지하고 예방하기 위한 모델 정보 시트를 제안한다.
• 시민 전쟁 예측 사례 연구를 통해 누출의 영향을 경험적으로 평가한다.

제안 방법

• 17개 분야의 20편의 논문에 대한 체계적 문헌 고찰을 통해 누출 관련 함정들을 확인하고 영향을 받은 연구를 정량화한다.
• 데이터 수집, 전처리, 모델링, 평가에 걸친 8가지 누출 유형의 미세한 분류체를 개발한다.
• 명시적 누출 중심 주장을 강제하기 위한 보고 도구로 모델 정보 시트를 제안한다(학습-테스트 분리, 특징의 타당성, 분포 일치).
• 학습-테스트 분할을 사용하고 코드/데이터가 사용 가능했던 12편의 논문을 재분석하여 누출 오류를 수정함으로써 시민 전쟁 예측에서 재현성 연구를 수행한다.

실험 결과

연구 질문

• RQ1 다양한 학문 분야에 걸쳐 데이터 누출이 ML 기반 과학에서 재현 불가능한 결과의 원인으로 얼마나 널리 나타나는가?
• RQ2 ML 기반 과학적 주장에 영향을 미치는 뚜렷한 누출 방식은 무엇이며 어떻게 탐지하고 완화할 수 있는가?
• RQ3 모델 정보 시트가 시민 전쟁 예측 사례 연구에서 보였듯 여러 분야에서 누출을 신뢰성 있게 밝히거나 예방할 수 있는가?
• RQ4 누출이 해결되면 복잡한 ML 모델이 로지스틱 회귀보다 실질적인 이점을 제공하는가?

주요 결과

• 데이터 누출은 17개 분야에 걸친 만연한 함정으로, 329편의 논문에 영향을 미친다.
• 저자는 8가지 누출 유형을 식별하는데, 교과서적 오류에서 분포 불일치와 비독립성에 이르는 범위를 다룬다.
• 공학/모델링 대회의 완화책은 ML 기반 과학에 직접적으로 적용되지는 않는다.
• 모델 정보 시트는 누출을 탐지할 수 있으며 논문을 읽는 것만으로는 누출을 밝힐 수 없기 때문에 필요하다.
• 시민 전쟁 예측에서 복잡한 ML 모델이 로지스틱 회귀보다 우수하다는 주장을 하는 논문은 누출로 인해 재생산에 실패하며, 수정 후에는 복잡한 모델이 실질적으로 더 잘 작동하지 않는다.
• ML 모델을 비교하는 논문에서 불확실성 정량화와 유의성 검정이 종종 누락된다.