[論文レビュー] Quantifying the Contributions of Training Data and Algorithm Logic to the Performance of Automated Cause-assignment Algorithms for Verbal Autopsy

Samuel J. Clark, Zehang Li+1 more|arXiv (Cornell University)|Mar 6, 2018

Autopsy Techniques and Outcomes参考文献 7被引用数 13

ひとこと要約

本研究では、PHMRCデータセットを用いて、訓練データとアルゴリズム論理の両方が言語的死因診断（VA）の死因割り当て性能に与える相対的影響を定量的に評価した。その結果、症状-原因情報（SCI）—訓練データから得られる情報—がアルゴリズムの選択よりも顕著に性能のばらつきを説明しており、SCIはアルゴリズム設計と同等以上に重要であり、多くの場合、それ以上に重要であることが示された。

ABSTRACT

A verbal autopsy (VA) consists of a survey with a relative or close contact of a person who has recently died. VA surveys are commonly used to infer likely causes of death for individuals when deaths happen outside of hospitals or healthcare facilities. Several statistical and algorithmic methods are available to assign cause of death using VA surveys. Each of these methods require as inputs some information about the joint distribution of symptoms and causes. In this note, we examine the generalizability of this symptom-cause information by comparing different automated coding methods using various combinations of inputs and evaluation data. VA algorithm performance is affected by both the specific SCI themselves and the logic of a given algorithm. Using a variety of performance metrics for all existing VA algorithms, we demonstrate that in general the adequacy of the information about the joint distribution between symptoms and cause affects performance at least as much or more than algorithm logic.

研究の動機と目的

• 自動化された言語的死因診断（VA）アルゴリズムの性能に寄与する訓練データ（症状-原因情報）とアルゴリズム論理の相対的寄与を調査すること。
• SCIとアルゴリズム設計の影響を分離することで、VAにおける公平なアルゴリズム比較の課題に対処すること。
• アルゴリズムの性能が訓練データの供給元かアルゴリズム的手法の選択か、どちらにより感受性を示すかを評価すること。
• VAシステムにおける高品質で集団特異的なSCIの優先的導入に関する実証的証拠を提供すること。

提案手法

• 6つの多様な集団にまたがる7,841件のラベル付きVA死亡例から成るPHMRCデータセットを用い、6つのVAアルゴリズムの学習と評価を実施した。
• 一般化可能性とSCIの移植可能性を評価するために、異なるサイトからのデータを用いたトレイン・テスト分割を実施した。
• 2種類のトレイン・テスト分割を実施した：(1) サイト間での標準的な分割、および (2) サイト固有のバイアスを低減するため、CSMF分布が一致するように再サンプリングされたテストセット。
• 各分割に対して50回の再サンプリングを繰り返し、性能指標の安定化と分散の低減を図った。
• 分散分析（ANOVA）およびフリードマン検定を用いて、トレインサイト、アルゴリズム、再サンプリング条件ごとの性能ばらつきを分解した。
• 線形混合モデルを用いて、性能ばらつきのうちトレインサイト、アルゴリズム、およびそれらの相互作用に起因する割合を定量的に評価した。

実験結果

リサーチクエスチョン

• RQ1 VAアルゴリズム性能のばらつきのうち、どの程度が訓練データ（症状-原因情報）の選択とアルゴリズムの選択に起因するか？
• RQ2 1つの集団で学習させたアルゴリズムが他の集団でテストされた場合、性能が著しく低下するか。その低下はアルゴリズムの違いに比べてどの程度顕著か？
• RQ3 テストデータの死因分布を再サンプリングすることで、SCIとアルゴリズム論理の相対的重要性にどのような影響が生じるか？
• RQ4 同じサイトのトレイン・テストペアの有無・無しは、性能ばらつきの分解にどの程度影響を及えるか？
• RQ5 自動化されたVAの死因割り当て性能において、訓練データかアルゴリズム論理のどちらが性能の主因となるか？

主な発見

• 訓練データ（症状-原因情報）の選択が、アルゴリズム論理の選択よりも顕著に性能のばらつきを説明しており、ほとんどの実験でp値 < 0.0001であった。
• 実験1（再サンプリングなし、同じサイトの分割を含む）では、トレインサイトがCSMFおよびCCC指標のばらつきの100％を説明しており、SCIが性能の主因であることが示された。
• 同じサイトのトレイン/テストペアを除外した（実験4）後でも、CCCの全ばらつきのうち2.15％がトレインデータに起因し、アルゴリズムは0.00％にとどまった。これは、SCIが依然として支配的であることを示している。
• テストデータの死因分布を再サンプリングしても、SCIの相対的重要性にほとんど影響がなかった。これは、性能の差が希少な原因や不均衡なCSMFに起因しているわけではないことを示唆している。
• すべてのアルゴリズムが、同じ集団でトレインとテストを実施した場合に顕著に高い性能を示した。これは、集団特異的なSCIの重要性を強調している。
• 本研究の結論として、SCIはアルゴリズム設計と同等以上に重要であり、多くの場合、それ以上に重要であることが示された。