[논문 리뷰] Sequential double cross-validation for augmented prediction assessment in high-dimensional omic applications

Mar Rodríguez‐Girondo, Perttu Salo외 4명|arXiv (Cornell University)|2016. 01. 29.

Metabolomics and Mass Spectrometry Studies인용 수 3

한 줄 요약

이 논문은 복잡한 형질(예: 체질량지수(BMI)) 예측을 위해 기존의 주요 옴믹스 모델(예: 전사체학)에 두 번째 옴믹스 데이터 세트(예: 대사체학)를 추가했을 때의 예측적 가치 증가를 평가하기 위해 정규화된 회귀를 사용하는 순차적 더블 교차검증 프레임워크를 제안한다. 이 방법은 성능 지표와 순열 검정을 통해 두 번째 옴믹스 계층이 첫 번째 모델을 초월해 예측 성능을 향상시키는지 공식적으로 평가하며, DILGOM 코hort 연구에서의 유용성을 입증한다.

ABSTRACT

Augmentation of previously established high-dimensional predictive models with new biomolecular markers is an important task in omic applications. We introduce a two-step procedure for the assessment of the augmented predictive value of omic predictors, based on sequential double cross-validation and regularized regression models. We propose several performance indices to summarize the two-stage prediction procedure and a permutation test to formally assess the augmented predictive value of a second omic set of predictors over a primary omic source. The performance of the test is investigated through simulations. We illustrate the new method through the systematic assessment and comparison of the performance of transcriptomics and metabolomics sources in the prediction of body mass index (BMI) using data from the Dietary, Lifestyle, and Genetic determinants of Obesity and Metabolic syndrome (DILGOM) study, a population-based cohort, from Finland.

연구 동기 및 목표

• 두 번째 옴믹스 데이터 세트(예: 대사체학)를 추가했을 때 기존의 주요 옴믹스 모델(예: 전사체학)을 초월해 예측 성능이 향상되는지 평가하는 문제를 해결하기 위해.
• 과적합과 데이터 누출이 주요 우려 사항인 고차원 옴믹스 응용 분야에서 예측적 가치 증가를 안정적이고 재현가능한 프레임워크로 평가하기 위해.
• 보조 옴믹스 소스로부터 추가된 예측적 가치의 유의성을 공식적으로 평가하기 위한 성능 지표와 순열 검정을 도입하기 위해.
• 시뮬레이션을 통해 방법의 성능를 검증하고, DILGOM 인구 기반 코hort 연구에서의 실제 옴믹스 데이터에 적용하기 위해.
• 체질량지수(BMI)의 변동성을 설명하는 데 있어 전사체학과 대사체학의 예측 능력을 비교하기 위해.

제안 방법

• 이 방법은 데이터 누출을 방지하고 편향 없는 모델 평가를 보장하기 위해 이중 단계 순차적 더블 교차검증 절차를 사용한다.
• 첫 번째 단계에서, 내부 교차검증을 사용하여 최적의 정규화 파rameter를 선택하기 위해 주요 옴믹스 모델(예: 전사체학)을 훈련하고 검증한다.
• 두 번째 단계에서, 보조 옴믹스 데이터 세트(예: 대사체학)를 주요 모델에 추가하고, 동일한 더블 교차검증 프레임워크를 사용하여 통합 모델을 재최적화하고 검증한다.
• 성능은 c-index, 통합 분류 개선도(IFI), 순차적 재분류 개선도(NRI)와 같은 지표를 사용하여 요약하며, 이는 순차적 이중 단계 설계에 맞게 조정된다.
• 관측된 예측 성능 향상의 유의성을 평가하기 위해, 보조 옴믹스 예측자 레이블을 샘플 간에 무작위로 재배치하는 순열 검정을 적용한다.
• 고차원 예측자 공간을 다루고 과적합을 방지하기 위해 두 단계 모두 정규화된 회귀 모델(예: 엘라스틱넷)을 사용한다.

실험 결과

연구 질문

• RQ1 전사체학 기반 모델에 비해 대사체학 데이터를 추가했을 때 BMI 예측 성능이 유의미하게 향상되는가?
• RQ2 데이터 누출이나 과적합으로부터 편향 없이 보조 옴믹스 데이터 세트의 예측적 가치 증가를 어떻게 평가할 수 있는가?
• RQ3 순차적 모델링 프레임워크에서 두 번째 옴믹스 계층의 추가 가치를 평가하는 데 가장 유의미한 성능 지표는 무엇인가?
• RQ4 표준 교차검증과 비교했을 때 제안된 순차적 더블 교차검증 절차는 편향과 제1종 오류 통제 측면에서 어떻게 다른가?
• RQ5 전사체학에 대사체학을 추가했을 때 관측된 예측 성능 향상은 통계적으로 유의한가?

주요 결과

• 제안된 순차적 더블 교차검증 프레임워크는 고차원 옴믹스 예측 작업에서 과적합과 데이터 누출을 효과적으로 제어한다.
• 순열 검정은 보조 옴믹스 데이터 세트로부터 유의미한 예측적 가치 증가를 공식적으로 평가할 수 있는 유효한 통계적 접근법을 제공한다.
• DILGOM 코hort에서, 전사체학 기반 모델에 대사체학 데이터를 추가함으로써 BMI 예측 성능이 통계적으로 유의미하게 향상되었으며, 이는 순열 검정으로 확인되었다.
• c-index, IDI, NRI와 같은 성능 지표는 보조 전사체학 모델에 대사체학을 추가했을 때 일관되고 의미 있는 향상이 나타남을 보여주었다.
• 시뮬레이션 결과, 이 방법은 적절한 제1종 오류 비율을 유지하고 진정한 예측적 가치 증가를 탐지하는 데 양호한 검정력을 보였다.
• 이 방법은 BMI와 같은 복잡한 형질을 예측하는 데 있어 다양한 옴믹스 계층(예: 전사체학 대비 대사체학)을 체계적이고 공식적으로 비교할 수 있도록 한다.