[論文レビュー] A Guide to Comparing the Performance of VA Algorithms

Samuel J. Clark|arXiv (Cornell University)|Feb 21, 2018

Data-Driven Disease Surveillance被引用数 7

ひとこと要約

本論文は、アルゴリズム論理と症状-原因情報（SCI）の影響を分離することで、言語的自殺（VA）アルゴリズムを公平に比較するための標準化されたフレームワークを提案する。これは、一貫性があり一般化可能で、透明性のある性能評価を地域や時間の経過にかかわらず実現するため、WHOが管理する公開可能なSCIアーカイブの構築を提唱する。主な貢献は、長年のVAアルゴリズムベンチマークにおける一貫性の欠如を解消するため、SCIを制御した比較へのメソドロジカルな転換である。

ABSTRACT

The literature comparing the performance of algorithms for assigning cause of death using verbal autopsy data is fractious and does not reach a consensus on which algorithms perform best, or even how to do the comparison. This manuscript explains the challenges and suggests a way forward. A universal challenge is the lack of standard training and testing data. This limits meaningful comparisons between algorithms, and further, limits the ability of any algorithm to classify verbal autopsy deaths by cause in a way that is widely generalizable across regions and through time. Verbal autopsy algorithms utilize a variety of information to describe the relationship between verbal autopsy symptoms and causes of death - called symptom-cause information (SCI). A crowd sourced, public archive of SCI managed by the World Health Organization (WHO) is suggested as a way to address the lack of SCI for developing, testing, and comparing verbal autopsy coding algorithms, and additionally, as a way to ensure that algorithm-assigned causes of death are as accurate and comparable across regions and through time as possible.

研究の動機と目的

• 異なるSCIとアルゴリズム論理の影響が混在するため、既存の研究でVAアルゴリズムの比較に合意が得られないという問題に対処すること。
• 標準化されていないトレーニングおよびテストデータの制限が、地域や時間の経過にかかわらず一般化可能性を損なうという課題を解決すること。
• バイアスのない医師によるコード付けがなされたVAに基づく、中央集権的で公開可能なSCIアーカイブの構築を提唱すること。
• ソースコードへのアクセスとアルゴリズム的要素の標準化された報告を要件とすることで、透明性と再現可能性を促進すること。
• ゴールドスタンダードデータと一貫性のある指標を用いた、将来のVAアルゴリズム評価のための普遍的なベンチマークフレームワークを確立すること。

提案手法

• VAデータとSCIを一定に保ち、アルゴリズム論理のみを変化させることで、性能に与える影響を分離する制御された実験的設計を採用する。
• 多様なグローバルな環境から得られた独立した原因が付与されたVAデータを集約し、中央集権的で継続的に更新されるSCIアーカイブを構築する。
• バイアスのない医師によるコード付けがなされたVA（DBPCVAs）を、SCIの信頼できるソースとして活用し、各死亡例が複数の医師によってコード付けされ、各医師が多数のケースを処理するようにする。
• CSMFの正確性や原因割り当ての精度を含む、アルゴリズム性能のための標準化された指標と報告プロトコルを実装する。
• Tariffファミリーを除き、ほとんどのアルゴリズムでベイズの定理をコア推論メカニズムとして採用することで、メソドロジカルな一貫性を確保する。
• データガバナンス、メタデータ基準、品質保証、およびSCIアーカイブのインfra構築計画を明確にすることで、倫理的・法的・技術的実現可能性を確保する。

実験結果

リサーチクエスチョン

• RQ1 既存の研究ではアルゴリズム論理とSCIが混在しているため、VAアルゴリズムの性能をどのように公平に比較できるか？
• RQ2 アルゴリズム論理と症状-原因情報（SCI）の両方が、死亡原因割り当ての正確性に与える相対的影響は何か？
• RQ3 中央集権的で公開可能なSCIアーカイブは、多様な集団や時間経過にわたって、VAアルゴリズムの整合性、正確性、一般化可能性を向上させることができるか？
• RQ4 バイアスのない医師によるコード付けがなされたVAは、アルゴリズムのトレーニングおよび検証のための信頼性があり代表的なSCIをどのように作成できるか？
• RQ5 将来のVAアルゴリズム研究における透明性と比較可能性を保証するためには、どのような標準化された指標とベンチマークフレームワークが必要か？

主な発見

• PHMRCゴールドスタンダードデータを用いたSCI制御比較において、症状-原因情報（SCI）の影響がアルゴリズム論理の違いよりも顕著に性能に与えることが示された。
• 多くの既存の比較研究では、アルゴリズム論理とSCIの影響が混同されており、それぞれの要因が性能に与える真の影響を分離することが不可能である。
• McCormickら（2016a）の研究は、SCIの質と代表性が、アルゴリズム論理の選択よりも、アルゴリズムの正確性において主要因であることを示している。
• バイアスのない医師によるコード付けがなされたVAに基づく標準化され、継続的に更新されるSCIアーカイブは、バイアスのない医師の判断を再現でき、地域や時間にかかわらず一貫性があり一般化可能な原因割り当てを可能にする。
• ゴールドスタンダードのコミュニティ死データセットが存在しないことにより、現在の比較の妥当性が制限されており、多くの場合、実世界のVA応用とはかけ離れた病院死に基づいている。
• WHOが管理するSCIアーカイブは、VAアルゴリズムの開発・テスト・展開を世界規模で標準化するための現実的で不可欠な次のステップである。