[논문 리뷰] Gene set bagging for estimating replicability of gene set analyses

Andrew E. Jaffe, John D. Storey외 2명|arXiv (Cornell University)|2013. 01. 16.

Gene expression and cancer classification참고 문헌 25인용 수 8

한 줄 요약

이 논문은 유전자 세트 부트스트래핑(Gene Set Bagging)을 소개한다. 이는 유전체학에서 유전자 세트 발현 분석의 재현 가능성을 추정하기 위한 리샘플링 기반 방법이다. 고처리량 데이터(예: 유전자 발현 및 DNA 메틸화)를 반복적으로 리샘플링하고, 각 부트스트랩 샘플에서 유의성 검정과 유전자 세트 분석을 수행한 후 복제 확률(R)을 계산함으로써, 생물학적으로 안정적이고 재현 가능한 유전자 세트를 식별한다. 이 방법은 많은 통계적으로 유의미한 유전자 세트가 리샘플링 과정에서 실제로는 불안정하다는 것을 드러낸다.

ABSTRACT

Background: Significance analysis plays a major role in identifying and ranking genes, transcription factor binding sites, DNA methylation regions, and other high-throughput features for association with disease. We propose a new approach, called gene set bagging, for measuring the stability of ranking procedures using predefined gene sets. Gene set bagging involves resampling the original high-throughput data, performing gene-set analysis on the resampled data, and confirming that biological categories replicate. This procedure can be thought of as bootstrapping gene-set analysis and can be used to determine which are the most reproducible gene sets. Results: Here we apply this approach to two common genomics applications: gene expression and DNA methylation. Even with state-of-the-art statistical ranking procedures, significant categories in a gene set enrichment analysis may be unstable when subjected to resampling. Conclusions: We demonstrate that gene lists are not necessarily stable, and therefore additional steps like gene set bagging can improve biological inference of gene set analysis.

연구 동기 및 목표

• 고처리량 유전체학 연구에서 유전자 세트 발현 결과의 불안정성을 해결하기 위해, 유의미한 생물학적 카테고리가 반복 실험에서 재현되지 않을 수 있음을 고려한다.
• 향후 연구에서 유전자 세트가 유의미해질 가능성을 정량화하는 방법을 개발하여, 생물학적 추론을 위한 p-값보다 더 정보적인 지표를 제공한다.
• 표준 발현 분석 방법을 사용할 때, 유전자 발현 및 DNA 메틸화를 포함한 다양한 유전체 플랫폼 간 유전자 세트의 안정성을 평가한다.
• 리샘플링 하에서 두 가지 일반적인 발현 통계량인 초기확률 검정과 윌콕슨 순서합 검정의 복제성 측면에서 성능을 비교한다.
• 유전자 세트 분석에서 유도된 생물학적 결론의 재현 가능성을 평가하기 위한 일반화 가능하고 플랫폼에 종속되지 않는 접근법을 제공한다.

제안 방법

• 원본 고처리량 데이터셋을 교체 가능하게 리샘플링하여 부트스트랩 샘플을 생성하며, 원래 데이터의 구조를 유지한다.
• 각 부트스트랩 샘플에서 유전자 수준의 유의성 검정(예: t-검정 또는 순서 기반 검정)을 수행하여 차별적으로 발현되는 유전자를 식별한다.
• 각 부트스트랩 샘플에 대해 유전자 세트 발현 분석(예: 초기확률 검정 또는 윌콕슨 검정)을 적용하여 사전 정의된 유전자 세트 중에서 유의미하게 enrich된 세트를 확인한다.
• 각 유전자 세트의 복제 확률(R)을 계산하며, 이는 부트스트랩 샘플 중에서 해당 유전자 세트가 통계적으로 유의미하다고 판단된 비율로 정의된다.
• 복제 확률(R)을 새로운 독립적인 연구에서 유전자 세트가 유의미해질 가능성을 직접 추정하는 데 사용한다.
• R와 전통적인 p-값 간의 관계를 비교하여, R이 p-값만으로는 예측하기 어려운 진정된 복제 가능성보다 더 잘 예측하는지 평가한다.

실험 결과

연구 질문

• RQ1 동일한 데이터셋을 반복적으로 리샘플링했을 때 유전자 세트 발현 결과는 얼마나 안정한가?
• RQ2 기존의 p-값 기반으로 유의미하다고 판단된 유전자 세트 중 얼마나 많은 세트가 리샘플링 과정에서 재현되지 않는가?
• RQ3 리샘플링 하에서 초기확률 검정과 윌콕슨 순서합 검정 중 어느 유전자 세트 발현 방법이 더 안정적인 결과를 낳는가?
• RQ4 복제 확률(R)이 생물학적으로 관련성이 높은 유전자 세트를 우선순위 정렬하는 데 p-값보다 더 정보적인 지표로 기능할 수 있는가?
• RQ5 다양한 옴믹스 데이터 유형(예: 유전자 발현 대비 DNA 메틸화)의 신호 대 잡음 구조는 유전자 세트의 복제 가능성에 어떤 영향을 미치는가?

주요 결과

• 표준 p-값을 사용해 통계적으로 유의미하다고 판단된 많은 유전자 세트들이 낮은 복제 확률(R < 0.5)을 보이며, 리샘플링 과정에서 실제로는 불안정함을 나타낸다.
• 유전자 세트 발현 분석에서 윌콕슨 순서합 검정은 초기확률 검정보다 더 안정적인 결과를 낳았으며, R와 p-값 간의 관계가 더 강하고 정밀했다.
• 높은 R(예: R > 0.5)와 낮은 p-값을 동시에 가지는 유전자 세트는 가장 안정적이고 일관된 생물학적 경로를 나타내며, 향후 연구에서 재현될 가능성이 가장 높다는 것을 시사한다.
• p-값 기준으로 유의미하지 않은 유전자 세트라도 높은 복제 확률을 보일 수 있으며, 이는 p-값만으로는 생물학적 재현 가능성의 진정한 수준을 신뢰할 수 없음을 시사한다.
• 복제 확률(R)은 p-값보다 복제 가능성 예측에 더 정확한 예측 지표이며, 생물학적 검증에서 보완적인 지표로 활용될 수 있음을 뒷받침한다.
• 이 방법은 일반화 가능하며, GitHub에 공개된 R 패키지 'GeneSetBagging'을 통해 구현되어 있어 다양한 유전체 플랫폼과 분석 파이프라인에서 널리 적용 가능하다.