[논문 리뷰] Confound-leakage: Confound Removal in Machine Learning Leads to Leakage

Sami Hamdan, Bradley C. Love외 5명|arXiv (Cornell University)|2022. 10. 17.

Mental Health Research Topics인용 수 4

한 줄 요약

이 논문은 기계학습 워크플로우에서 선형 회귀를 통한 표준 혼동요인 제거(혼동요인 회귀, CR)가 비선형 모델이 뒤따를 경우 의도하지 않은 데이터 누출을 유발할 수 있음을 입증한다. 이로 인해 잔차에 숨겨진 혼동요인 정보가 드러나면서 임의의 성능 향상이 발생하여 임상 및 관찰 연구에서 모델의 타당성이 훼손된다.

ABSTRACT

Machine learning (ML) approaches to data analysis are now widely adopted in many fields including epidemiology and medicine. To apply these approaches, confounds must first be removed as is commonly done by featurewise removal of their variance by linear regression before applying ML. Here, we show this common approach to confound removal biases ML models, leading to misleading results. Specifically, this common deconfounding approach can leak information such that what are null or moderate effects become amplified to near-perfect prediction when nonlinear ML approaches are subsequently applied. We identify and evaluate possible mechanisms for such confound-leakage and provide practical guidance to mitigate its negative impact. We demonstrate the real-world importance of confound-leakage by analyzing a clinical dataset where accuracy is overestimated for predicting attention deficit hyperactivity disorder (ADHD) with depression as a confound. Our results have wide-reaching implications for implementation and deployment of ML workflows and beg caution against naïve use of standard confound removal approaches.

연구 동기 및 목표

• 표준 혼동요인 제거 방법이 기계학습 워크플로우에서 유발하는 부작용을 조사하는 것.
• 혼동요인 제거가 비선형 모델에서 데이터 누출을 유발하는 조건, 특히 임상 적용에서의 경우를 규명하는 것.
• 혼동요인 제거 후 성능 향상이 진정한 신호 강화인지 아니면 부당한 누출 때문인지 평가하는 것.
• 기계학습 워크플로우에서 혼동요인-누출을 탐지하고 완화하기 위한 실용적 지침을 제공하는 것.
• 우울증을 혼동요인으로 삼은 임상 ADHD 음성 데이터셋을 활용하여 혼동요인-누출의 실제 영향을 입증하는 것.

제안 방법

• 선형 모델을 사용하여 연령, 성별, 우울증 등의 혼동요인의 선형 분산을 제거하기 위해 혼동요인 회귀(CR)를 적용하였다.
• CR가 훈련 폴드에만 적용되도록 하여 테스트 세트의 무결성을 유지하는 방식으로 교차검증 일관성 있는 워크플로우를 구현하였다.
• 기준 및 임상 데이터셋을 대상으로 선형 및 비선형 모델을 평가하여, CR 유무에 따른 성능을 비교하였다.
• 10×5 중첩 교차검증을 통해 분류 작업의 경우 AUC-ROC, 회귀 작업의 경우 R²를 성능 측정 지표로 사용하였다.
• CR 단계에서 추정한 혼동요인($\hat{X}$)의 예측 가능성 여부를 평가하여 누출 여부를 진단: $\hat{X}$에서 타겟을 높이 예측할 수 있다면 누출의 증거가 된다.
• 성능 향상의 의미 있는 차이 여부를 판단하기 위해 베이지안 ROPE 분석을 사용하였다.

실험 결과

연구 질문

• RQ1 비선형 기계학습 모델이 뒤따르는 경우 선형 회귀를 통한 혼동요인 제거가 데이터 누출을 유발하는가?
• RQ2 혼동요인 제거 후 성능 향상은 정보 폭 드러남 때문인지, 아니면 혼동요인-누출 때문인가?
• RQ3 CR 후 잔차화된 특징에서 혼동요인 추정치($\hat{X}$)는 얼마나 예측 가능하며, 이는 누출을 어떻게 시사하는가?
• RQ4 혼동요인-누출이 실제 임상 적용, 예를 들어 ADHD 진단에서 진단 정확도를 얼마나 과대평가하는가?
• RQ5 특징 섞기와 잔차에서 혼동요인 예측을 통해 기계학습 워크플로우에서 누출을 진단할 수 있는 실용적 도구가 될 수 있는가?

주요 결과

• 비선형 모델이 뒤따르는 선형 회귀를 통한 혼동요인 제거는 진짜 효과가 없거나 약할 때조차도 혼동요인-누출로 인해 허위로 근접 완벽한 예측 성능을 보이며, 이는 성능 향상의 오해를 유도한다.
• ADHD 음성 데이터셋에서 우울증을 혼동요인으로 사용했을 경우, CR 적용으로 ADHD 예측 AUC-ROC가 약 0.65에서 약 0.95로 상승하여 모델 성능이 심각하게 과대평가됨을 확인하였다.
• CR 이후 잔차화된 특징는 혼동요인(예: 우울증 점수)을 매우 잘 예측할 수 있었으며, $\hat{X}$가 타겟에서 최대 80%의 분산을 설명함으로써 누출의 강력한 증거를 제공하였다.
• CR 이후 성능 향상은 신호 강화 때문이 아니라 잔차에서 혼동요인을 높이 예측할 수 있었기 때문에 누출에 의해 유도된 것으로 밝혀졌다.
• 연구 결과, 비선형 모델이 단변량 혼동요인 회귀 후 적용되는 경우, 심지어 교차검증 워크플로우에서도 혼동요인-누출이 특히 흔한 것으로 나타났다.
• 저자들은 특징 섞기와 잔차에서 혼동요인을 예측하는 방법이 기계학습 워크플로우에서 누출 취약성을 진단하는 실용적 도구가 될 수 있다고 제안한다.