[논문 리뷰] Learning Disease vs Participant Signatures: a permutation test approach to detect identity confounding in machine learning diagnostic applications

Elias Chaibub Neto, Abhishek Pratap외 7명|arXiv (Cornell University)|2017. 12. 08.

Imbalanced Data Classification Techniques참고 문헌 9인용 수 7

한 줄 요약

이 논문은 기계학습 진단 적용 분야에서 신원 오염을 탐지하기 위해 순열 검정을 제안한다. 여기서 분류기는 질병 패턴 대신 개인별 서명을 학습할 수 있다. 기록 단위 및 환자 단위 데이터 분할에서의 성능를 비교함으로써, 예측 정확도가 질병 인식이 아닌 환자 식별에 의해 영향을 받는지 여부를 식별한다. 결과적으로 음성 데이터에서 신원 오염의 강력한 증거를 발견하였으며, 환자 단위 분할을 최선의 실천 방법으로 지지한다.

ABSTRACT

Recently, Saeb et al (2017) showed that, in diagnostic machine learning applications, having data of each subject randomly assigned to both training and test sets (record-wise data split) can lead to massive underestimation of the cross-validation prediction error, due to the presence of "subject identity confounding" caused by the classifier's ability to identify subjects, instead of recognizing disease. To solve this problem, the authors recommended the random assignment of the data of each subject to either the training or the test set (subject-wise data split). The adoption of subject-wise split has been criticized in Little et al (2017), on the basis that it can violate assumptions required by cross-validation to consistently estimate generalization error. In particular, adopting subject-wise splitting in heterogeneous data-sets might lead to model under-fitting and larger classification errors. Hence, Little et al argue that perhaps the overestimation of prediction errors with subject-wise cross-validation, rather than underestimation with record-wise cross-validation, is the reason for the discrepancies between prediction error estimates generated by the two splitting strategies. In order to shed light on this controversy, we focus on simpler classification performance metrics and develop permutation tests that can detect identity confounding. By focusing on permutation tests, we are able to evaluate the merits of record-wise and subject-wise data splits under more general statistical dependencies and distributional structures of the data, including situations where cross-validation breaks down. We illustrate the application of our tests using synthetic and real data from a Parkinson's disease study.

연구 동기 및 목표

• 기계학습을 통한 질병 진단에서 기록 단위 분할과 환자 단위 분할 간의 논란을 해결하기 위해.
• 분류기 성능이 질병 상태가 아닌 환자 신원에 의해 영향을 받는지 여부를 탐지할 수 있는 통계적 방법을 개발하기 위해.
• 기록 단위와 환자 단위 교차 검증 결과 간 격차가 신원 오염인지 아니면 모델 과소적합인지 설명하기 위해.
• 디지털 헬스 응용 분야에서 데이터 분할 전략의 타당성을 검증하기 위한 실용적이고 경험 기반의 접근법을 제공하기 위해.

제안 방법

• 분류기 성능이 질병 상태가 아닌 환자 신원에 의존하는지 평가하기 위해 순열 검정을 제안한다.
• 다른 가정 하에 분류 성능를 비교하기 위해 환자 단위 및 기록 단위 데이터 분할을 사용한다.
• 질병 레이블을 뒤섞으면서도 환자 신원을 유지하는 순열 검정을 적용하여 성능가 감소하는지 평가한다.
• 신원 오염을 탐지하기 위해 순열 검정에서 AUC와 정확도를 성능 지표로 사용한다.
• 합성 데이터와 실제 mPower 연구 데이터(음성 및 타이핑 기능)에 이 방법을 적용하여 결과를 검증한다.
• 환자 단위 분할이 신원 오염을 줄이고 일반화 능력을 향상시키며, 특히 충분한 수의 환자가 있을 경우에 특히 효과적임을 보여준다.

실험 결과

연구 질문

• RQ1 기록 단위 데이터 분할에서의 분류기 성능는 진정으로 질병 인식을 반영하는가, 아니면 환자 신원에 의해 오염되어 있는가?
• RQ2 기록 단위와 환자 단위 교차 검증 결과 간 격차가 신원 오염인지 아니면 모델 과소적합인지 신뢰성 있게 탐지할 수 있는가?
• RQ3 기록 단위와 환자 단위 교차 검증 결과 간 격차는 신원 오염인지 아니면 모델 과소적합 때문인가?
• RQ4 환자의 수가 환자 단위 분할 하에서 분류기가 일반화하는 능력에 어떻게 영향을 주는가?
• RQ5 일부 데이터 모odalities(예: 음성 대비 타이핑)는 다른 것들보다 더 신원 오염에 취약한가?

주요 결과

• 순열 검정은 기록 단위 분할로 훈련된 음성 기반 분류기에서 질병 레이블이 뒤섞여도 강력한 신원 오염 증거를 드러냈다.
• 기록 단위 분할에서 음성 데이터는 훈련 세트에 100명 이상의 환자가 포함되어 있을 때에만 AUC 값이 높게 나타나, 질병 신호 탐지가 지연됨을 시사한다.
• 타이핑 기반 분류기는 환자 단위 분할 하에서 더 적은 신원 오염과 더 나은 일반화 능력을 보였으며, 이는 더 견고한 특징 표현을 의미한다.
• 환자 단위 분할에서 모델 과소적합이 관찰되었지만, 훈련 세트에 환자 수를 늘림으로써 이를 완화할 수 있었다.
• 모델 과소적합만이 데이터 분할 전략 간 성능 격차를 설명한다는 가설에 대해서는 연구에서 지지 근거를 발견하지 못했다.
• 음성 특징은 배경 소음과 마이크로폰 거리와 같은 생물학적 외부 요인에 민감하여 신원 오염에 더 취약한 편이다.