[논문 리뷰] Using permutations to assess confounding in machine learning applications for digital health

Elias Chaibub Neto, Abhishek Pratap외 5명|arXiv (Cornell University)|2018. 11. 29.

Advanced Causal Inference Techniques참고 문헌 15인용 수 5

한 줄 요약

이 논문은 디지털 헬스 분야의 머신러닝에서 오염된 요인을 탐지하고 정량화하기 위해 순열 기반 통계적 방법을 제안한다. 제한된 순열을 사용하여 오염된 영향을 분리하면서도 목표 집단의 구조를 유지한다. 이 방법은 오염되지 않은 모델 성능 추정과 오염 보정 방법 평가를 가능하게 하며, 실제 파킨슨병 모바일 헬스 연구에서 표준 근무 가설 대비 더 높은 추론 정확도를 보여주었다.

ABSTRACT

Clinical machine learning applications are often plagued with confounders that can impact the generalizability and predictive performance of the learners. Confounding is especially problematic in remote digital health studies where the participants self-select to enter the study, thereby making it challenging to balance the demographic characteristics of participants. One effective approach to combat confounding is to match samples with respect to the confounding variables in order to balance the data. This procedure, however, leads to smaller datasets and hence impact the inferences drawn from the learners. Alternatively, confounding adjustment methods that make more efficient use of the data (e.g., inverse probability weighting) usually rely on modeling assumptions, and it is unclear how robust these methods are to violations of these assumptions. Here, rather than proposing a new approach to control for confounding, we develop novel permutation based statistical methods to detect and quantify the influence of observed confounders, and estimate the unconfounded performance of the learner. Our tools can be used to evaluate the effectiveness of existing confounding adjustment methods. We illustrate their application using real-life data from a Parkinson's disease mobile health study collected in an uncontrolled environment.

연구 동기 및 목표

• 디지털 헬스 분야의 머신러닝 응용에서 관측된 오염된 요인의 영향을 탐지하고 정량화하기 위한 통계적 도구를 개발하는 것.
• 목표 집단 내 오염된 요인-반응 연관성을 고려하여 학습자에 대한 오염되지 않은 예측 성능을 추정하는 것.
• 목표 집단의 구조를 반영하는 강력하고 데이터 기반의 순열 프레임워크를 사용해 기존 오염 보정 방법의 효과성을 평가하는 것.
• 자신이 선택한 요인으로 인해 인구 통계적 불균형이 발생하는 원격이고 통제되지 않은 디지털 헬스 연구에서의 낮은 일반화 가능성 문제를 해결하는 것.
• 기존의 조정 기법(예: 역확률가중치법)에서 유래하는 모델링 가정을 피하는 방법을 제공하는 것.

제안 방법

• 범주형 또는 순서형 오염된 요인의 수준 내에서 반응 변수를 순열하여 간접적인 연관성(오염 효과)은 유지하면서 직접적인 특징-반응 연결을 끊는 제한된 몬테카를로 순열을 사용한다.
• 훈련 및 테스트 세트에서 오염된 요인 수준 내에서 반복적으로 반응 변수를 순열하고, 모델 성능을 재평가함으로써 제한된 순열 근무 분포를 구성한다.
• 관측된 지표를 제한된 순열 근무에 대해 표준화하여 오염되지 않은 성능를 추정한다. z-점수 보정을 사용한다: $ (AUC_o - a_{\tilde{\tau}^*}) \frac{s}{s_{\tilde{\tau}^*}} + a $.
• 오염 여부를 검정하기 위해 표준 정규 근무 근사를 사용한 p-값을 계산한다: $ 1 - \Phi\left(\frac{a_{\tilde{\tau}^*} - a}{s / \sqrt{n}}\right) $, 여기서 $ a $ 와 $ s $ 는 기준 근무의 평균과 표준편차이다.
• 기준 근무 분포(목표 집단에서 유도됨)를 기준으로 하여 기초 오염된 구조를 보정함으로써 더 정확한 성능 추정이 가능해진다.
• 실제 파킨슨병 연구에서의 모바일 헬스 데이터에 이 방법을 적용하여 오염을 평가하고 보정 전략을 검증한다.

실험 결과

연구 질문

• RQ1 성별이나 연령과 같은 오염된 요인이 디지털 헬스 연구에서 머신러닝 모델의 예측 성능에 얼마나 심각하게 왜곡을 초래하는가?
• RQ2 개발 데이터에 오염으로 인한 유사 연관성이 포함되어 있을 때, 실제(오염되지 않은) 모델 성능을 어떻게 추정할 수 있는가?
• RQ3 목표 집단의 구조를 반영하는 순열 기반 기준을 사용할 때, 기존의 오염 보정 기법은 얼마나 효과적인가?
• RQ4 오염 신호 강도가 다양할 경우, 제안된 오염 탐지 검정의 통계적 검정력은 어떻게 되는가?
• RQ5 오염이 없는 근무 가설 하에서 유의수준 오류 비율은 얼마나 잘 제어되는가?

주요 결과

• 제안된 방법은 목표 집단의 오염-반응 구조를 반영한 제한된 순열 근무와 관측된 모델 성능를 비교함으로써 오염을 성공적으로 탐지하고 정량화하였다.
• 기준 근무(초록선, 그림 S6e)가 표준 근무(주황선)보다 성능이 뛰어나, 추정된 오염되지 않은 AUC가 표준 순열 근무 기반 추정보다 유의미하게 더 정확하다는 것이 입증되었다.
• 오염 신호 강도가 증가할수록 오염 탐지 능력이 증가하여 실제 시뮬레이션 상황에서의 민감도를 입증하였다.
• 오염이 없는 근무 가설 하에서 p-값은 [0,1] 범위에 균일하게 분포하였으며, 시뮬레이션에서 잘 제어된 유의수준 오류 비율을 확인하였다.
• 이 방법은 목표 집단 내 진정한 오염-반응 연관성을 반영한 기준을 제공함으로써 오염 보정 기법의 평가에 효과적으로 활용되었다.
• 실제 파킨슨병 연구에서 성별이 중요한 오염된 요인임이 드러났으며, 오염되지 않은 성능 추정치는 개발 데이터에 존재하는 유사 연관성을 보정하였다.