[논문 리뷰] Quantifying the Contributions of Training Data and Algorithm Logic to the Performance of Automated Cause-assignment Algorithms for Verbal Autopsy

Samuel J. Clark, Zehang Li외 1명|arXiv (Cornell University)|2018. 03. 06.

Autopsy Techniques and Outcomes참고 문헌 7인용 수 13

한 줄 요약

이 연구는 PHMRC 데이터셋을 사용하여 훈련 데이터와 알고리즘 논리의 상대적 영향을 구두 자살 평가(VA) 원인 할당 성능에 대해 정량화한다. 연구 결과, 증상-원인 정보(SSI) — 훈련 데이터에서 유도된 — 가 알고리즘 선택보다 훨씬 더 많은 성능 변동을 설명하며, SSI는 알고리즘 설계만큼이나 중요하거나 종종 더 중요하다는 것을 밝혀냈다.

ABSTRACT

A verbal autopsy (VA) consists of a survey with a relative or close contact of a person who has recently died. VA surveys are commonly used to infer likely causes of death for individuals when deaths happen outside of hospitals or healthcare facilities. Several statistical and algorithmic methods are available to assign cause of death using VA surveys. Each of these methods require as inputs some information about the joint distribution of symptoms and causes. In this note, we examine the generalizability of this symptom-cause information by comparing different automated coding methods using various combinations of inputs and evaluation data. VA algorithm performance is affected by both the specific SCI themselves and the logic of a given algorithm. Using a variety of performance metrics for all existing VA algorithms, we demonstrate that in general the adequacy of the information about the joint distribution between symptoms and cause affects performance at least as much or more than algorithm logic.

연구 동기 및 목표

• 자동화된 구두 자살(VA) 알고리즘 성능에 대한 훈련 데이터(증상-원인 정보)와 알고리즘 논리의 상대적 기여도를 조사하기 위해.
• SCI와 알고리즘 설계의 영향을 분리하여 VA에서 공정한 알고리즘 비교에 도전하기 위해.
• 알고리즘 성능이 훈련 데이터의 소스인지 알고리즘 방법의 선택인지에 더 민감한지 평가하기 위해.
• VA 시스템에서 고질적이고 인구 특화된 SSI를 우선시할 근거를 제공하기 위해.

제안 방법

• 6개의 다양한 인구 집단에서 7,841건의 레이블이 부여된 VA 사망자 데이터를 포함한 PHMRC 데이터셋을 사용하여 6개의 VA 알고리즘을 훈련 및 테스트하였다.
• 일반화 가능성과 SSI 이관 가능성 평가를 위해 다양한 사이트의 데이터를 사용하여 훈련-테스트 분할을 수행하였다.
• 두 가지 유형의 훈련-테스트 분할을 실시하였다: (1) 사이트 간 표준 분할, 및 (2) 사이트 특화 편향을 줄이기 위해 CSMF 분포를 일치시킨 재표본 테스트 세트.
• 각 분할당 50회 반복하여 성능 지표의 안정성과 분산 감소를 도모하였다.
• 성능 변동을 훈련 사이트, 알고리즘, 재표본 조건 간에 분해하기 위해 분산 분석(ANOVA)과 프리드먼 검정을 적용하였다.
• 성능 변동의 비율 중 훈련 사이트, 알고리즘, 그 상호작용에 기인한 부분을 정량화하기 위해 선형 혼합 모델을 사용하였다.

실험 결과

연구 질문

• RQ1 VA 알고리즘 성능의 변동 중 얼마나 많은 비율이 훈련 데이터(증상-원인 정보)의 선택과 알고리즘의 선택에 기인하는가?
• RQ2 한 인구 집단에서 훈련하고 다른 인구 집단에서 테스트할 경우 VA 알고리즘의 성능이 유의하게 떨어지는가? 이는 알고리즘적 차이와 비교해 볼 때 어떻게 되는가?
• RQ3 테스트 데이터의 사망 원인 분포를 재표본화할 경우, SSI와 알고리즘 논리의 상대적 중요도에 어떤 영향을 미치는가?
• RQ4 동일 사이트 훈련 및 테스트 쌍의 포함 또는 배제는 성능 분산 분해에 어떤 영향을 미치는가?
• RQ5 훈련 데이터와 알고리즘 논리 중 어느 것이 자동화된 구두 자살 원인 할당 성능의 주요 추진력인가?

주요 결과

• 훈련 데이터(증상-원인 정보)의 선택이 알고리즘 논리보다 성능 변동에 더 크게 기여하며, 대부분의 실험에서 p값 < 0.0001이었다.
• 실험 1(재표본화 없음, 동일 사이트 분할 포함)에서 훈련 사이트가 CSMF 및 CCC 지표의 변동 100%를 설명하여, SSI가 성능의 주요 추진력임을 나타냈다.
• 조직된 사이트 훈련/테스트 쌍을 제외한 후에도(실험 4), 훈련 데이터는 CCC에서 총 변동의 2.15%를 설명했고, 알고리즘은 0.00%에 그쳤다 — 이는 SSI가 여전히 지배적임을 보여주었다.
• 테스트 데이터의 원인 분포를 재표본화하는 것은 SSI의 상대적 중요도에 미미한 영향을 미쳤으며, 이는 성능 차이가 희귀 원인이나 불균형한 CSMF에 의해 유도되지 않는다는 것을 시사한다.
• 모든 알고리즘이 동일한 인구 집단에서 훈련 및 테스트된 경우에 훨씬 더 뛰어난 성능를 보였으며, 이는 인구 특화된 SSI의 중요성을 강조한다.
• 이 연구는 SSI가 알고리즘 설계만큼이나 중요하거나, 많은 경우에 더 중요하며, 높은 VA 성능를 달성하기 위해 필수적임을 결론내렸다.