[論文レビュー] Nonseparable Gaussian Stochastic Process: A Unified View and Computational Strategy

Mengyang Gu, Yanxun Xu|arXiv (Cornell University)|Nov 30, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 30被引用数 3

ひとこと要約

本稿では、新しい計算戦略を活用することで、標準的な $O(n^3)$ のボトル neck を回避し、正確かつ線形時間 ($O(n)$) で尤度計算が可能な、非分離型のガウス確率過程（GaSP）モデルを統一的に提案する。この手法は線形回帰や分離型モデルを一般化し、ランダムフォレストや局所化されたクリギングと比較して、ゲノム全体のDNAメチル化レベルの予測において優れた精度を示す。

ABSTRACT

Gaussian stochastic process (GaSP) has been widely used as a prior over functions due to its flexibility and tractability in modeling. However, the computational cost in evaluating the likelihood is $O(n^3)$, where $n$ is the number of observed points in the process, as it requires to invert the covariance matrix. This bottleneck prevents GaSP being widely used in large-scale data. We propose a general class of nonseparable GaSP models for multiple functional observations with a fast and exact algorithm, in which the computation is linear ($O(n)$) and exact, requiring no approximation to compute the likelihood. We show that the commonly used linear regression and separable models are special cases of the proposed nonseparable GaSP model. Through the study of an epigenetic application, the proposed nonseparable GaSP model can accurately predict the genome-wide DNA methylation levels and compares favorably to alternative methods, such as linear regression, random forests and localized Kriging method.

研究の動機と目的

• ガウス確率過程（GaSP）の高い計算コスト（共分散行列の逆行列計算に起因し、$O(n^3)$ に比例）を解消すること。
• 線形回帰や分離型モデルを特別な場合として含む、非分離型GaSPモデルの統一的フレームワークを構築すること。
• 近似を用いず、正確に線形時間 ($O(n)$) で尤度評価を可能にする、正確な計算手法の実現。これにより大規模な関数データ解析が可能になる。
• エピジェネティクスデータを用いたゲノム全体のDNAメチル化レベルの予測において、本モデルの有効性を示すこと。

提案手法

• 複数の関数的入力間の柔軟な依存構造を許容する、非分離型GaSPモデルの一般クラスを提案する。
• 共分散行列の構造的性質を活用して、尤度計算のための高速かつ正確なアルゴリズムを設計する。
• 低ランク分解や階層的分解を用いて行列の逆行列計算を回避する計算戦略を採用し、$O(n)$ の計算量を達成する。
• ベイズフレームワークに統合することで、完全な後立確率推定と不確実性の定量化を可能にする。
• 確率的近似や変分境界を用いないため、手法の正確性を保証する。
• 特にエピジェネティクスゲノミクスにおいて、複雑な空間的および関数的依存関係を捉えるために、多変数関数的データに本モデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 線形回帰と分離型モデルを統一する単一のフレームワークに、非分離型GaSPモデルを定式化できるか？
• RQ2 近似を用いず、線形時間 ($O(n)$) で非分離型GaSPモデルの尤度を計算することは可能か？
• RQ3 提案手法は、既存の手法と比較して、ゲノム全体のDNAメチル化レベルの予測においてどの程度の性能を示すか？
• RQ4 複雑な依存構造を持つ関数データにおいて、非分離性が予測精度に与える影響は何か？

主な発見

• 提案された非分離型GaSPモデルは、$O(n)$ 時間で正確な尤度計算を達成し、標準的なGaSPの $O(n^3)$ ボトル neck を解消した。
• 本モデルは線形回帰および分離型GaSPモデルを一般化しており、その統一的パワーを示している。
• エピジェネティクス応用において、本モデルは線形回帰、ランダムフォレスト、局所化されたクリギングを上回り、ゲノム全体のDNAメチル化レベルの予測精度に優れた性能を示した。
• 本手法により、大規模な関数データに対するスケーラブルなベイズ推論が可能となり、GaSPが高次元ゲノム応用に実用的であることが実証された。