[논문 리뷰] Neuropathic Pain Diagnosis Simulator for Causal Discovery Algorithm Evaluation

Ruibo Tu, Kun Zhang외 3명|arXiv (Cornell University)|2019. 06. 04.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 9

한 줄 요약

이 논문은 알려진 진실된 원인 구조를 가진 합성 임상 데이터를 생성하는 유연하고 개인정보 보호 기능을 갖춘 신경병성 통증 진단 시뮬레이터를 소개한다. 실제 환자 데이터를 활용해 매개변수를 추정하고 잘 이해된 신경병성 통증의 병태생리학에 기반한 이 시뮬레이터를 통해 실질적인 조건, 예를 들어 누락된 데이터, 선택 편향, 측정되지 않은 혼란 요인 등에서 인과 발견 알고리즘의 체계적 평가가 가능하며, 실제 데이터와 높은 유사성을 보인다.

ABSTRACT

Discovery of causal relations from observational data is essential for many disciplines of science and real-world applications. However, unlike other machine learning algorithms, whose development has been greatly fostered by a large amount of available benchmark datasets, causal discovery algorithms are notoriously difficult to be systematically evaluated because few datasets with known ground-truth causal relations are available. In this work, we handle the problem of evaluating causal discovery algorithms by building a flexible simulator in the medical setting. We develop a neuropathic pain diagnosis simulator, inspired by the fact that the biological processes of neuropathic pathophysiology are well studied with well-understood causal influences. Our simulator exploits the causal graph of the neuropathic pain pathology and its parameters in the generator are estimated from real-life patient cases. We show that the data generated from our simulator have similar statistics as real-world data. As a clear advantage, the simulator can produce infinite samples without jeopardizing the privacy of real-world patients. Our simulator provides a natural tool for evaluating various types of causal discovery algorithms, including those to deal with practical issues in causal discovery, such as unknown confounders, selection bias, and missing data. Using our simulator, we have evaluated extensively causal discovery algorithms under various settings.

연구 동기 및 목표

• 인과 발견 알고리즘 평가를 위한 알려진 진실된 인과 관계를 갖춘 벤치마크 데이터셋의 부족 문제를 해결하기 위해.
• 복잡한 의료 환경에서의 인과 발견 평가를 위한 현실적이고 확장 가능하며 개인정보 보호 기능이 있는 시뮬레이터를 만들기 위해.
• 측정되지 않은 혼란 요인, 선택 편향, 결측 데이터와 같은 실용적 과제 하에서 인과 발견 알고리즘의 체계적 평가를 가능하게 하기 위해.
• 생물의학 지식에 기반한 도메인 특화 시뮬레이터를 제공함으로써 기계 학습과 임상 신경과학을 연결하기 위해.

제안 방법

• 시뮬레이터는 222개의 변수와 770개의 유도된 간선을 가진 신경병성 통증 병태생리학의 인과 그래프에 기반하며, 기존 의학 지식에서 유도된다.
• 실제 임상 기록의 소규모 코hort에서 익명화된 데이터를 활용해 인과 모델의 매개변수를 추정하여 임상적 타당성을 확보한다.
• 실제 데이터의 인과적 구조와 매개변수 추정치를 반영하는 구조적 방정식 모델을 사용해 합성 데이터를 생성한다.
• 실제 데이터 과제를 모방하기 위해 결측 데이터, 선택 편향, 측정되지 않은 혼란 요인과 같은 구성 가능한 데이터 문제를 지원한다.
• 통계 분석과 의사의 전문가 평가를 통해 데이터의 정밀도를 검증하여 실제 임상 기록과 유사성을 확보한다.
• 다양한 실험 설정에서 PC, FCI, GES와 같은 여러 인과 발견 알고리즘의 평가가 가능하도록 시뮬레이터를 설계한다.

실험 결과

연구 질문

• RQ1 잘 이해된 생물학적 인과적 구조를 기반으로 한 시뮬레이터가 통계적으로 실제 환자 데이터와 구분되지 않는 합성 임상 데이터를 생성할 수 있는가?
• RQ2 측정되지 않은 혼란 요인과 결측 데이터와 같은 실용적 과제 하에서 시뮬레이터가 얼마나 효과적으로 인과 발견 알고리즘을 평가할 수 있는가?
• RQ3 시뮬레이터가 실제 신경병성 통증 진단 기록의 통계적 및 임상적 특성을 어느 정도 유지하는가?
• RQ4 시뮬레이터가 실제 의료 환경에서 다양한 인과 발견 알고리즘을 비교 평가하기 위한 신뢰할 수 있는 기준으로 기능할 수 있는가?
• RQ5 도메인 특화 인과 지식의 통합이 합성 데이터의 유효성과 알고리즘 평가에 대한 유용성을 어떻게 향상시키는가?

주요 결과

• 통계적 검증과 전문의의 평가를 통해 시뮬레이터가 생성한 합성 데이터는 실제 임상 기록과 통계적으로 구분되지 않음을 입증했다.
• 시뮬레이터는 실제 신경병성 통증 진단 경로를 반영한 222개의 변수와 770개의 유도된 간선을 가진 복잡한 고차원 인과 구조를 성공적으로 재현했다.
• 환자의 개인정보나 데이터 보안을 훼손하지 않고 무한한 합성 데이터 샘플을 생성할 수 있다.
• PC, FCI, GES와 같은 인과 발견 알고리즘들이 시뮬레이터를 통해 성공적으로 평가되었으며, 이는 벤치마킹에 대한 유용성을 입증한다.
• 시뮬레이터가 결측 데이터, 선택 편향, 측정되지 않은 혼란 요인과 같은 실용적 과제를 효과적으로 모델링하여 강력한 알고리즘 평가가 가능하다.
• 생물의학 지식에서 유도된 진실된 인과 구조는 인과 발견 방법의 체계적이고 재현 가능한 평가를 가능하게 한다.