[論文レビュー] Sequential double cross-validation for augmented prediction assessment in high-dimensional omic applications

Mar Rodríguez‐Girondo, Perttu Salo+4 more|arXiv (Cornell University)|Jan 29, 2016

Metabolomics and Mass Spectrometry Studies被引用数 3

ひとこと要約

本論文は、複雑な形質（例：BMI）を予測するため、既存の主要なオミクスモデル（例：トランスクリプトミクス）に第二のオミクスデータセット（例：メタボロミクス）を追加した際の予測的価値の増分を評価するため、正則化回帰を用いた逐次二重交差検証フレームワークを提案する。この手法は、性能指標と分散検定を用いて、第二のオミクス層が第一のものよりも予測性能を向上させるかどうかを形式的に評価し、DILGOMコhort研究におけるその有効性を示している。

ABSTRACT

Augmentation of previously established high-dimensional predictive models with new biomolecular markers is an important task in omic applications. We introduce a two-step procedure for the assessment of the augmented predictive value of omic predictors, based on sequential double cross-validation and regularized regression models. We propose several performance indices to summarize the two-stage prediction procedure and a permutation test to formally assess the augmented predictive value of a second omic set of predictors over a primary omic source. The performance of the test is investigated through simulations. We illustrate the new method through the systematic assessment and comparison of the performance of transcriptomics and metabolomics sources in the prediction of body mass index (BMI) using data from the Dietary, Lifestyle, and Genetic determinants of Obesity and Metabolic syndrome (DILGOM) study, a population-based cohort, from Finland.

研究の動機と目的

• 第二のオミクスデータセット（例：メタボロミクス）を追加することで、既に確立された主要なオミクスモデル（例：トランスクリプトミクス）の予測性能が向上するかどうかを評価する課題に対処すること。
• 過学習やデータ漏洩が主な懸念事項である高次元オミクス応用において、予測的価値の増分を堅牢かつ再現可能に評価するフレームワークを開発すること。
• 二次的オミクス源からの追加的予測的価値の有意性を形式的に評価するための性能指標と分散検定を導入すること。
• シミュレーションを通じて手法の性能を検証し、DILGOM母集団ベースのコhort研究からの実世界のオミクスデータに適用すること。
• トランスクリプトミクスとメタボロミクスの両者が体格指数（BMI）の変動を説明する予測力にどの程度寄与するかを比較すること。

提案手法

• データ漏洩を防ぎ、偏りのないモデル評価を保証するため、二段階の逐次二重交差検証手順を採用する。
• 第一段階では、最適な正則化パラメータの選択を目的として、ネストドクロスバリデーションを用いて主要なオミクスモデル（例：トランスクリプトミクス）を訓練および検証する。
• 第二段階では、二次的オミクスデータセット（例：メタボロミクス）を主要モデルに追加し、同じ二重交差検証フレームワークを用いて再最適化および検証する。
• 性能は、c-index、統合識別改善（IDI）、ネット再分類改善（NRI）などの指標を用いて要約され、二段階の逐次設計に適応されたものである。
• 性能向上の有意性を評価するために、二次的オミクス予測子ラベルをサンプル間でランダムにシャッフルする分散検定を適用する。
• 高次元の予測子空間を扱い、過学習を防ぐために、両段階で正則化回帰モデル（例：エラスティックネット）が用いられる。

実験結果

リサーチクエスチョン

• RQ1 トランスクリプトミクスに加えてメタボロミクスデータを追加することで、BMIの予測性能が有意に向上するか？
• RQ2 データ漏洩や過学習の影響を受けない形で、二次的オミクスデータセットの予測的価値の増分をどのように評価できるか？
• RQ3 逐次的モデリングフレームワークにおいて、第二のオミクス層の追加価値を評価するにあたり、最も有益な性能指標は何か？
• RQ4 標準的な交差検証と比較して、提案された逐次二重交差検証手順は、バイアスおよび第一種の過誤率の制御においてどのように異なるか？
• RQ5 トランスクリプトミクスにメタボロミクスを追加した際の予測性能の向上が、統計的に有意であるか？

主な発見

• 提案された逐次二重交差検証フレームワークは、高次元オミクス予測タスクにおける過学習およびデータ漏洩を効果的に制御している。
• 分散検定は、二次的オミクスデータセットからの予測的価値の増分の有意性を正当に評価するための統計的根拠を提供する。
• DILGOMコhortにおいて、トランスクリプトミクスベースのモデルにメタボロミクスデータを追加することで、BMI予測性能が統計的に有意に向上したことが、分散検定によって確認された。
• c-index、IDI、NRIなどの性能指標は、主なトランスクリプトミックモデルにメタボロミクスを追加した際、一貫性があり意味のある向上を示した。
• シミュレーションの結果、この手法は適切な第一種の過誤率を維持しており、真の予測的価値の増分を検出するのに十分なパワーを有していることが示された。
• この手法により、BMIのような複雑な形質を予測する際の、異なるオミクス層（例：トランスクリプトミクス対メタボロミクス）の系統的かつ形式的な比較が可能になった。