[논문 리뷰] Local calibration of verbal autopsy algorithms

Abhirup Datta, Jacob Fiksel외 2명|arXiv (Cornell University)|2018. 10. 24.

Machine Learning in Healthcare참고 문헌 10인용 수 1

한 줄 요약

이 논문은 지역 데이터가 부족한 상황에서 구조적 사망 원인 분율 추정을 향상시키기 위해 구두 자가 평가 알고리즘의 국지적 校정을 위한 계층적 베이지안 전이 학습 프레임워크를 제안한다. 수축 우선분포와 새로운 견본 추출 알고리즘을 도입함으로써, 지역 데이터가 없을 경우 校정된 추정치가 기준 분류기의 출력과 일치하도록 보장하며, 소규모 표본 설정에서 비국지적 학습 방식보다 우수한 성능을 발휘한다.

ABSTRACT

Computer-coded verbal autopsy (CCVA) algorithms predict cause of death from high-dimensional family questionnaire data (verbal autopsies) of a deceased individual. CCVA algorithms are typically trained on non-local data, then used to generate national and regional estimates of cause-specific mortality fractions. These estimates may be inaccurate if the non-local training data is different from the local population of interest. This problem is a special case of transfer learning. However, most transfer learning classification approaches are concerned with individual (e.g. a person's) classification within a target domain (e.g. a particular population) with training performed in data from a source domain. Epidemiologists are often more interested in estimating population-level etiological distributions, using datasets much smaller than those used in common transfer learning applications. We present a parsimonious hierarchical Bayesian transfer learning framework to directly estimate population-level class probabilities in a target domain. To address small sample sizes, we introduce a novel shrinkage prior for the transfer error rates guaranteeing that, in absence of any labeled target domain data or when the baseline classifier has zero transfer error, the calibrated estimate of class probabilities coincides with the naive estimates from the baseline classifier, thereby subsuming the default practice as a special case. A novel Gibbs sampler using data-augmentation enables fast implementation. We extend our approach to use not one, but an ensemble of baseline classifiers. Theoretical and empirical results demonstrate how the ensemble model favors the most accurate baseline classifier. We present extensions allowing class probabilities to vary with covariates, and an EM-algorithm-based MAP estimation. An R-package implementing this method is developed.

연구 동기 및 목표

• 비국지적 구두 자가 평가 알고리즘을 사용할 경우 발생하는 사망 원인별 사망 분율 추정의 정확성 부족 문제를 해결하기 위해.
• 제한된 국지적 데이터를 활용하여 인구 수준의 클래스 확률을 校정하는 방법을 개발하기 위해.
• 국지적 레이블이 제공되지 않을 경우, 校정된 추정치가 기본 분류기의 출력으로 기본 설정되도록 보장하기 위해.
• 프레임워크를 다수의 기본 분류기 집합을 사용하도록 확장하여 정확도를 향상시키기 위해.
• 클래스 확률이 공변수와 함께 변화할 수 있도록 하고, EM 알고리즘을 통한 MAP 추정을 가능하게 하기 위해.

제안 방법

• 목표 도메인에서 인구 수준의 사망 원인별 사망 분율을 추정하기 위해 계층적 베이지안 전이 학습 모델을 제안한다.
• 국지적 데이터가 없을 경우 기본 분류기의 출력으로의 복귀를 보장하기 위해 전이 오차율에 대한 새로운 수축 우선분포를 도입한다.
• 고차원 입력 조건에서도 효율적인 사후 분포 계산을 위해 데이터 증강 기반의 견본 추출 알고리즘(Gibbs 샘플러)을 활용한다.
• 기본 분류기 집합을 사용하도록 프레임워크를 확장하여, 사후 가중치를 통해 가장 정확한 분류기를 선호한다.
• 모델의 유연성을 향상시키기 위해 공변수 의존적 클래스 확률을 통합한다.
• 확장 가능한 추론을 위한 EM 알고리즘 기반의 MAP 추정 절차를 개발한다.

실험 결과

연구 질문

• RQ1 학습 데이터가 비국지적일 경우, 전이 학습 프레임워크가 사망 원인별 사망 분율 추정의 정확도를 향상시킬 수 있는가?
• RQ2 국지적 데이터가 부족하거나 존재하지 않을 경우, 어떻게 校정을 보장할 수 있는가?
• RQ3 기본 분류기 집합을 사용할 경우 단일 분류기 대비 추정 성능이 향상되는가?
• RQ4 이 방법은 사망 원인 분포의 공변수 기반 변동성에 적응할 수 있는가?
• RQ5 수축 우선분포가 국지적 레이블이 없을 경우 기본 분류기와의 일致성을 어떻게 보장하는가?

주요 결과

• 수축 우선분포는 국지적 데이터가 없을 경우 校정된 추정치가 기본 분류기의 출력과 정확히 일치함을 보장하여, 기본 실무 방식을 특수한 경우로 유지한다.
• Gibbs 샘플러를 통해 고차원의 구두 자가 평가 데이터 조건에서도 빠르고 확장 가능한 사후 분포 계산이 가능하다.
• 실증 결과는 이 방법이 비국지적 학습 방식보다 소규모 표본 설정에서 더 뛰어난 성능을 보임을 보여주며, 특히 기본 분류기가 완벽하지 않은 경우에 두드러진다.
• 집합 모델은 가장 정확한 기본 분류기를 선호하여 열악한 품질의 소스 모델에 대한 저항력을 향상시킨다.
• 공변수 의존적 확률로의 확장은 더 세밀하고 맥락에 맞는 사망 분율 추정을 가능하게 한다.
• 이 방법을 구현한 R 패키지가 개발되어 에피디미올로지스트들이 실용적으로 활용할 수 있도록 한다.