[논문 리뷰] A Guide to Comparing the Performance of VA Algorithms

Samuel J. Clark|arXiv (Cornell University)|2018. 02. 21.

Data-Driven Disease Surveillance인용 수 7

한 줄 요약

이 논문은 알고리즘 논리와 증상-원인 정보(Symptom-Cause Information, SCI)의 영향을 분리하여 구술 자백(Verbal Autopsy, VA) 알고리즘 간 공정한 비교를 위한 표준화된 프레임워크를 제안한다. 이는 일관되고 일반화 가능하며 투명한 성능 평가를 보장하기 위해 WHO가 관리하는 공개 접근 가능한 SCI 아카이브를 설립할 것을 주장한다. 주요 기여는 기존의 VA 알고리즘 벤치마킹에서 오랫동안 지속된 일관성 없는 문제를 해결하기 위해 SCI를 통제한 비교 방법론으로의 전환이다.

ABSTRACT

The literature comparing the performance of algorithms for assigning cause of death using verbal autopsy data is fractious and does not reach a consensus on which algorithms perform best, or even how to do the comparison. This manuscript explains the challenges and suggests a way forward. A universal challenge is the lack of standard training and testing data. This limits meaningful comparisons between algorithms, and further, limits the ability of any algorithm to classify verbal autopsy deaths by cause in a way that is widely generalizable across regions and through time. Verbal autopsy algorithms utilize a variety of information to describe the relationship between verbal autopsy symptoms and causes of death - called symptom-cause information (SCI). A crowd sourced, public archive of SCI managed by the World Health Organization (WHO) is suggested as a way to address the lack of SCI for developing, testing, and comparing verbal autopsy coding algorithms, and additionally, as a way to ensure that algorithm-assigned causes of death are as accurate and comparable across regions and through time as possible.

연구 동기 및 목표

• 다른 SCI와 알고리즘 논리의 영향이 혼합되어 발생하는 변수들로 인해 기존 VA 알고리즘 비교에 대한 합의가 이루어지지 않는 문제를 해결하기 위해.
• 표준화되지 않은 학습 및 테스트 데이터로 인해 지역과 시간에 걸쳐 일반화가 제한되는 문제를 해결하기 위해.
• 편향이 제거된 의사가 코드화한 구술 자백(De-biased Physician-Coded VAs, DBPCVAs)을 기반으로 한 중앙집중형 공개 접근 가능한 SCI 아카이브를 설립하여 증상-원인 관계를 표준화하기 위해.
• 소스 코드 접근과 알고리즘 구성 요소의 표준화된 보고를 요구하여 투명성과 재현 가능성을 높이기 위해.
• 미래의 VA 알고리즘 평가를 위해 골드스탠다드 데이터와 일관된 메트릭을 사용하는 보편적 기준 평가 프레임워크를 수립하기 위해.

제안 방법

• VA 데이터와 SCI는 일정하게 유지하고 오직 알고리즘 논리만 변화시켜 성능에 미치는 영향을 분리하여 평가하는 통제된 실험 설계를 사용한다.
• 다양한 글로벌 환경에서 독립적으로 원인이 할당된 VA 데이터를 취합하여 지속적으로 업데이트되는 중앙집중형 SCI 아카이브를 구축한다.
• 신뢰할 수 있는 SCI 자료로써 편향이 제거된 의사가 코드화한 구술 자백(DBPCVAs)을 활용하여, 각 사망 사례는 다수의 의사가 평가하고, 각 의사도 많은 사례를 코드화하도록 한다.
• CSMF 정확도와 원인 할당 정밀도와 같은 표준화된 메트릭과 보고 프로토콜을 도입하여 알고리즘 성능을 평가한다.
• Tariff 가족 외의 대부분의 알고리즘에서 베이즈의 정리를 핵심 추론 메커니즘으로 적용하여 방법론적 일관성을 확보한다.
• SCI 아카이브의 데이터 거버넌스, 메타데이터 표준, 품질 보증 및 인프라 계획을 정의하여 윤리적, 법적, 기술적 타당성을 확보한다.

실험 결과

연구 질문

• RQ1 기존 연구에서 알고리즘 논리와 SCI가 혼합되어 있어, VA 알고리즘 성능을 공정하게 비교할 수 있는 방법은 무엇인가?
• RQ2 알고리즘 논리와 증상-원인 정보(Symptom-Cause Information, SCI) 중 어느 것이 사망 원인 할당 정확도에 더 큰 영향을 미치는가?
• RQ3 중앙집중형 공개 접근 가능한 SCI 아카이브는 다양한 인구 집단과 시간대에 걸쳐 VA 알고리즘의 일관성, 정확도, 일반화 가능성을 향상시킬 수 있는가?
• RQ4 편향이 제거된 의사가 코드화한 구술 자백(DBPCVAs)을 어떻게 활용하여 알고리즘 학습 및 검증을 위한 신뢰할 수 있고 대표적인 SCI를 만들 수 있는가?
• RQ5 미래의 VA 알고리즘 연구에서 투명성과 비교 가능성을 보장하기 위해 필요한 표준화된 메트릭과 벤치마킹 프레임워크는 무엇인가?

주요 결과

• PHMRC 골드스탠다드 데이터를 사용한 SCI 통제 비교에서, 증상-원인 정보(Symptom-Cause Information, SCI)의 영향이 알고리즘 논리의 차이보다 훨씬 더 크다는 것이 입증되었다.
• 대부분의 출판된 비교 연구는 알고리즘 논리와 SCI의 영향을 혼합하여, 각 구성 요소가 성능에 미치는 진정한 영향을 분리하기 어려운 상황이다.
• McCormick 등(2016a)의 연구는 SCI의 품질과 대표성가 알고리즘 정확도의 주요 결정 요소이며, 알고리즘 논리의 선택보다 더 중요하다는 것을 보여준다.
• 편향이 제거된 의사가 코드화한 구술 자백(DBPCVAs)을 기반으로 한 표준화되고 지속적으로 업데이트되는 SCI 아카이브는 편향이 없는 의사의 판단을 재현할 수 있으며, 일관되고 지역 및 시간에 관계없이 일반화 가능한 사망 원인 할당을 가능하게 한다.
• 골드스탠다드 공동체 사망 데이터셋의 부재로 인해 현재의 비교 연구는 유효성이 떨어지며, 일반적으로 실제 VA 적용과 더 적합하지 않은 병원 사망 사례에 기반하는 경우가 많다.
• WHO가 관리하는 SCI 아카이브는 글로벌 수준에서 VA 알고리즘 개발, 테스트, 배포를 표준화하기 위해 실현 가능하고 필수적인 다음 단계이다.