[论文解读] CAGI, the Critical Assessment of Genome Interpretation, establishes progress and prospects for computational genetic variant interpretation methods

The Critical Assessment of Genome Interpretation Consortium|arXiv (Cornell University)|May 12, 2022

Genomics and Rare Diseases参考文献 143被引用 7

一句话总结

本文评估了基因组解释能力关键评估（CAGI）联盟的五届比赛，这些比赛挑战了计算方法在预测遗传变异对表型影响方面的能力。结果显示，在错义变异解释方面取得了显著进展，尤其是在临床致病性变异和癌症相关变异方面，准确率不断提高；而调控性及复杂性状变异的预测仍不够明确，但具有辅助临床应用的潜力。

ABSTRACT

The Critical Assessment of Genome Interpretation (CAGI) aims to advance the state of the art for computational prediction of genetic variant impact, particularly those relevant to disease. The five complete editions of the CAGI community experiment comprised 50 challenges, in which participants made blind predictions of phenotypes from genetic data, and these were evaluated by independent assessors. Overall, results show that while current methods are imperfect, they have major utility for research and clinical applications. Missense variant interpretation methods are able to estimate biochemical effects with increasing accuracy. Performance is particularly strong for clinical pathogenic variants, including some difficult-to-diagnose cases, and extends to interpretation of cancer-related variants. Assessment of methods for regulatory variants and complex trait disease risk is less definitive, and indicates performance potentially suitable for auxiliary use in the clinic. Emerging methods and increasingly large, robust datasets for training and assessment promise further progress ahead.

研究动机与目标

• 通过一项全社区参与的盲测挑战，评估计算遗传变异解释的最前沿水平。
• 评估方法在从遗传变异预测表型结果方面的能力，特别是与疾病相关的变异。
• 识别当前方法在解释错义、调控及复杂性状变异方面的优势与局限。
• 通过突出进展领域与现存挑战，为未来开发提供指导。
• 通过五届CAGI比赛中50项独立盲测挑战，建立基准。

提出的方法

• 组织了五届完整的CAGI社区实验，每届均包含多个关于变异影响预测的挑战。
• 向参与者提供匿名遗传数据，并要求对表型结果进行盲测预测。
• 由独立盲评人员对预测结果进行评估，以确保客观性与可重复性。
• 使用标准化指标比较不同变异类型（包括错义、调控及复杂性状变异）下方法的性能。
• 整合多个研究团队的反馈与结果，以评估方法论趋势及随时间的改进。
• 利用规模更大、质量更高的数据集进行训练与评估，以支持方法开发与验证。

实验结果

研究问题

• RQ1 计算方法在预测遗传变异（尤其是错义变异和致病性变异）表型影响方面的准确性如何？
• RQ2 当前方法在解释调控性及非编码变异方面的表现如何？
• RQ3 现有工具在预测复杂性状疾病风险方面表现如何？
• RQ4 方法在不同遗传背景和变异类型之间具有多大程度的泛化能力？
• RQ5 计算变异解释领域在方法论上存在哪些关键局限与未来机遇？

主要发现

• 错义变异解释方法在预测生化效应方面已实现日益提高的准确性，尤其在具有临床意义的致病性变异方面表现突出。
• 在难以诊断的致病性错义变异及癌症相关变异方面，性能尤为出色。
• 调控性变异解释方法展现出潜力，但结果仍不够明确，表明其在辅助临床应用方面具有前景。
• 复杂性状疾病风险预测方法表现有限但非微不足道，提示仍有改进空间。
• 新兴方法与更大规模、高质量的数据集有望进一步推动该领域发展。
• CAGI框架已成功推动创新，并为评估变异解释工具提供了可靠基准。