[논문 리뷰] Causality-based tests to detect the influence of confounders on mobile health diagnostic applications: a comparison with restricted permutations

Elias Chaibub Neto, Meghasyam Tummalacherla외 2명|arXiv (Cornell University)|2019. 11. 12.

Advanced Causal Inference Techniques참고 문헌 15인용 수 8

한 줄 요약

이 논문은 이동 건강 진단 모델에서 혼란 변수의 영향을 탐지하기 위해 원인관계 기반 방법을 제안하며, 제한된 순열보다 더 정확한 대안을 제공한다. 제한된 순열이 직접 효과가 없을 때만 편향 없는 추정치를 제공함을 보이며, mHealth 데이터를 통해 원인관계 기반 검정법이 조정 후 잔류 혼란 변수를 더 잘 탐지함을 보여준다.

ABSTRACT

Machine learning practice is often impacted by confounders. Confounding can be particularly severe in remote digital health studies where the participants self-select to enter the study. While many different confounding adjustment approaches have been proposed in the literature, most of these methods rely on modeling assumptions, and it is unclear how robust they are to violations of these assumptions. This realization has recently motivated the development of restricted permutation methods to quantify the influence of observed confounders on the predictive performance of a machine learning models and evaluate if confounding adjustment methods are working as expected. In this paper we show, nonetheless, that restricted permutations can generate biased estimates of the contribution of the confounders to the predictive performance of a learner, and we propose an alternative approach to tackle this problem. By viewing a classification task from a causality perspective, we are able to leverage conditional independence tests between predictions and test set labels and confounders in order to detect confounding on the predictive performance of a classifier. We illustrate the application of our causality-based approach to data collected from mHealth study in Parkinson's disease.

연구 동기 및 목표

• 원격 연구에서 자가 선택으로 인해 인구통계학적 변수가 편향을 유발할 수 있는 이동 건강 진단 적용에서의 혼란 변수 문제를 다루기 위해.
• 직접 효과가 존재할 경우 제한된 순열 방법이 편향된 추정치를 제공할 수 있는 경향이 있다는 점을 규명하기 위해, 특히 혼란 변수 영향 평가에 있어 그 한계를 특정하기 위해.
• 모델링 가정에 의존하지 않고 혼란 변수 기여도를 정확히 정량화할 수 있는 원인관계 기반 접근법을 개발하고 검증하기 위해.
• 일반적인 혼란 변수 조정 기법들(예: 매칭, IPW, 잔차화)이 파킨슨병 mHealth 데이터에서 연령 관련 신호를 얼마나 효과적으로 제거하는지 평가하기 위해.

제안 방법

• 원인 다이어그램(예: 그림 1)을 사용하여 특징(X), 질병 상태(Y), 혼란 변수(A), 직접 효과(θXY) 간의 관계를 모델링함으로써 연관성의 공식 분해를 가능하게 한다.
• Wright의 길 분석을 적용하여 공분산과 원인관계 효과 간 이론적 연결을 유도하며, Eπ∗[Cov(X,Y∗)] = Cov(X,A)Cov(Y,A)/Var(A)임을 보여준다.
• 특징, 질병 상태, 혼란 변수 간 조건부 인적성(CI)을 상관계수 및 거리 공분산 검정을 통해 평가하는 원인관계 기반 검정법을 제안한다.
• 부분 공분산 및 거리 공분산 검정을 사용하여 조정된 모델이 여전히 혼란 변수 신호를 유지하고 있는지 평가한다(예: A ⊥⊥ Y | X).
• 다중 비교 보정을 위해 보너페르니 보정을 적용한 1,000회 순열 기반 p-값을 사용하여 조건부 인적성을 테스트한다.
• mPower 파킨슨병 데이터를 사용하여 방법을 검증하며, 조정 없음, 매칭, 근사 IPW, 특징 잔차화를 비교한다.

실험 결과

연구 질문

• RQ1 특징과 질병 상태 간에 직접 효과가 존재할 경우, 제한된 순열 방법이 예측 성능에 대한 혼란 변수 기여도를 정확하게 추정할 수 있는가?
• RQ2 원인관계 기반 접근법이 제한된 순열에 비해 더 신뢰성 있고 편향 없는 혼란 변수 영향 탐지 방법을 제공하는가?
• RQ3 일반적인 혼란 변수 조정 기법들(매칭, IPW, 잔차화)이 mHealth 진단 모델에서 연령 관련 신호를 얼마나 효과적으로 제거하는가?
• RQ4 조건부 인적성 검정이 AUC 점수가 향상된 것처럼 보일지라도, 조정 후 잔류 혼란 변수를 탐지할 수 있는가?
• RQ5 왜 특징 잔차화가 때로 AUC를 향상시키지만 연령과의 연관성을 증가시키는가? 이 오류는 어떻게 탐지할 수 있는가?

주요 결과

• 제한된 순열은 편향된 추정치를 제공하며, Eπ∗[Cov(X,Y∗)] = θXAθAY + θXYθAY² 이지만 진정한 혼란 변수 기여도 θXAθYA는 아니다.
• 원인관계 기반 접근법은 혼란 변수 효과를 정확히 식별하고, 제한된 순열이 실패하는 경우 잔류 혼란 변수를 탐지한다.
• 매칭은 연령과 질병 상태 간의 연관성을 성공적으로 제거하였으며, CI 검정에서 A ⊥⊥ Y | X 이외의 모든 귀무가설을 기각함으로써 이를 확인하였다.
• 근사 IPW는 균형을 개선했지만 연령 신호를 완전히 제거하지 못하였으며, 거리 공분산 검정에서 비영제 연관성이 존재함을 확인(모든 분할에서 p = 0.001).
• 특징 잔차화는 오류를 일으켰다: 원래 가장 중요도가 낮았던 네 개의 특징이 잔차화 후 가장 중요도가 높아졌고, 이들의 연령과의 거리 공분산이 크게 증가함(예: 특징23는 잔차화 후 높은 상관관계를 보였다).
• 잔차화 방법은 AUC 점수를 향상시켰지만, 이는 특징과 연령 간 연관성을 증폭시킴으로써 이루어졌으며, 높은 AUC가 잔류 혼란 변수를 가리킬 수 있음을 보여주었다.