[논문 리뷰] CAGI, the Critical Assessment of Genome Interpretation, establishes progress and prospects for computational genetic variant interpretation methods

The Critical Assessment of Genome Interpretation Consortium|arXiv (Cornell University)|2022. 05. 12.

Genomics and Rare Diseases참고 문헌 143인용 수 7

한 줄 요약

이 논문은 유전적 변이의 표현형 영향을 예측하기 위한 계산적 방법을 평가하는 Critical Assessment of Genome Interpretation (CAGI) 컨sortium의 다섯 번째 판을 평가한다. 결과적으로, 임상적 병원성 변이와 암 관련 변이에 대해 특히 빈도가 높은 일치를 보이며, 암변이 예측에서 정확도가 증가함에 따라 의미 있는 진전이 있었음을 보여준다. 그러나 조절 및 복합 형질 변이 예측은 아직 명확하지 않지만 보조적 임상적 응용에 있어 유망한 전망을 보이고 있다.

ABSTRACT

The Critical Assessment of Genome Interpretation (CAGI) aims to advance the state of the art for computational prediction of genetic variant impact, particularly those relevant to disease. The five complete editions of the CAGI community experiment comprised 50 challenges, in which participants made blind predictions of phenotypes from genetic data, and these were evaluated by independent assessors. Overall, results show that while current methods are imperfect, they have major utility for research and clinical applications. Missense variant interpretation methods are able to estimate biochemical effects with increasing accuracy. Performance is particularly strong for clinical pathogenic variants, including some difficult-to-diagnose cases, and extends to interpretation of cancer-related variants. Assessment of methods for regulatory variants and complex trait disease risk is less definitive, and indicates performance potentially suitable for auxiliary use in the clinic. Emerging methods and increasingly large, robust datasets for training and assessment promise further progress ahead.

연구 동기 및 목표

• 공동체 전체의 블라인드 도전을 통해 계산적 유전자 변이 해석의 최신 기술 수준을 평가하기 위해.
• 특히 질병과 관련된 변이에서 표현형 결과를 예측하는 데에 있어 방법의 성능을 평가하기 위해.
• 현재 방법의 임파서스, 조절 및 복합 형질 변이 해석에서의 강점과 한계를 규명하기 위해.
• 변이 해석 분야의 향후 발전 방향을 안내하기 위해 진전과 남아 있는 과제를 부각시키기 위해.
• 다섯 번의 CAGI 판에서 50개의 도전 과제를 통해 독립적이고 블라인드 평가를 통해 기준을 설정하기 위해.

제안 방법

• CAGI 공동 실험의 다섯 번의 전체 판을 조직하여, 변이 영향 예측에 대한 여러 도전 과제를 포함시켰다.
• 참가자들에게 익명화된 유전자 데이터를 제공하고, 표현형 결과에 대한 블라인드 예측을 요청했다.
• 객관성과 재현 가능성을 확보하기 위해 독립적이고 블라인드 평가자들이 예측을 평가했다.
• 표준화된 지표를 사용하여, 임파서스, 조절 및 복합 형질 변이를 포함한 다양한 변이 유형 간의 방법 성능을 비교했다.
• 여러 연구 팀의 피드백과 결과를 통합하여, 시간이 지남에 따라 메서드의 추세와 향상을 평가했다.
• 메서드 개발과 검증을 지원하기 위해 점점 더 크고 견고한 데이터셋을 활용하여 학습 및 평가를 수행했다.

실험 결과

연구 질문

• RQ1 계산적 방법은 특히 임파서스 및 병원성 변이에 대해 표현형 영향을 얼마나 정확하게 예측할 수 있는가?
• RQ2 현재 방법의 조절 및 비코딩 변이 해석 성능은 어떠한가?
• RQ3 기존 도구는 복합 형질 질병 위험을 얼마나 잘 예측하는가?
• RQ4 방법들이 다양한 유전적 배경과 변이 유형 간에 얼마나 일반화되는가?
• RQ5 계산적 변이 해석 분야의 향후 발전에서 핵심적인 한계와 기회는 무엇인가?

주요 결과

• 임파서스 변이 해석 방법은 특히 임상적으로 관련성이 높은 병원성 변이에 대해 생화학적 영향을 예측하는 데 점점 더 정확도를 높이고 있다.
• 특히 진단이 어려운 병원성 임파서스 변이와 암 관련 변이에 대해 성능이 뛰어나다.
• 조절 변이 해석 방법은 유망하지만 아직 명확하지 않아 보조적 임상적 응용에 적합할 수 있다.
• 복합 형질 질병 위험 예측 방법은 제한적이지만 의미 있는 성능를 보이며, 향후 개선 여지가 있음을 시사한다.
• 신규 방법과 더 큰, 고품질의 데이터셋은 분야의 추가 발전을 이끌 것으로 기대된다.
• CAGI 프레임워크는 혁신을 이끌었고, 변이 해석 도구 평가를 위한 신뢰할 수 있는 기준을 제공했다.