[論文レビュー] Gaussian process modelling of multiple short time series

Hande Topa, Antti Honkela|arXiv (Cornell University)|Oct 9, 2012

Gaussian Processes and Bayesian Inference参考文献 17被引用数 3

ひとこと要約

本論文は、高スループットな生物学的データにおける過学習と不足学習を解消するため、複数の短い時系列データに対する制約付きガウス過程（GP）モデリングを提案する。周波数ベースのGP長尺度に関する厳密な境界を導出し、観測ノイズに対する情報的事前分布を用いることで、手動による調整なしに数千本の短い時系列データに対する信頼性の高い自動適合が可能となる。合成データおよび遺伝子発現データを用いた検証により、問題的な適合の割合が顕著に低減された。

ABSTRACT

We present techniques for effective Gaussian process (GP) modelling of multiple short time series. These problems are common when applying GP models independently to each gene in a gene expression time series data set. Such sets typically contain very few time points. Naive application of common GP modelling techniques can lead to severe over-fitting or under-fitting in a significant fraction of the fitted models, depending on the details of the data set. We propose avoiding over-fitting by constraining the GP length-scale to values that focus most of the energy spectrum to frequencies below the Nyquist frequency corresponding to the sampling frequency in the data set. Under-fitting can be avoided by more informative priors on observation noise. Combining these methods allows applying GP methods reliably automatically to large numbers of independent instances of short time series. This is illustrated with experiments with both synthetic data and real gene expression data.

研究の動機と目的

• 高スループットな生物学的データに共通する、多数の短い時系列データに対するガウス過程モデリングにおける過学習と不足学習を解消すること。
• 生物学的GP応用でこれまでヒューリスティックに用いられてきた長尺度境界の理論的裏付けを明確にすること。
• 手動によるモデルチューニングなしに、数千本の独立した短い時系列データに対して完全に自動的かつ信頼性のあるGP適合を可能にすること。
• GPモデル適合の安定化により、遺伝子調節ネットワークの推定などの下流解析の精度を向上させること。
• システム生物学におけるより複雑で柔軟なGPモデルへの移行を支援し、予期せぬ過学習の失敗モードを回避すること。

提案手法

• サンプリングレートのナイキスト周波数に基づいて、GP長尺度に関する厳密な境界を導出することで、大部分のエネルギーが再構成可能な周波数帯域に集中することを保証する。
• 長尺度パラメータ ℓ に硬い上限を設けることで、過剰な関数的柔軟性による過学習を防止する。
• 観測ノイズ σ²ₙ により情報的である事前分布を適用し、低信号状態における不足学習を軽減する。
• 固定された σ²ₙ を用いて ℓ を制約することで、多様なデータ例にわたるモデル適合の安定化を実現する。
• 制約付きハイパーパrameterを用いた最尤推定を採用し、高スループット環境における頑健性を確保する。
• 合成データおよびシステム生物学からの実際の遺伝子発現時系列データを用いて、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 少数の観測値を有する短い時系列データに適合されたガウス過程モデルで過学習が生じる主な原因は何か？
• RQ2 短い時系列データ向けGPモデルにおける過学習を防止する理論的裏付けのある長尺度境界をどのように導出できるか？
• RQ3 観測ノイズに情報的事前分布を適用することで、スパースなデータ状態における不足学習はどのように軽減されるか？
• RQ4 長尺度制約とノイズ事前分布が、数千本の独立した時系列データにわたる大規模GP適合の信頼性をどのように向上させるか？
• RQ5 実際の生物学的データ、例えば遺伝子発現時系列データにおいて、これらの制約がどの程度問題的なモデル適合を低減するか？

主な発見

• 提案された長尺度境界により、過学習が顕著に低減され、制約なしでは 7.3% のモデルで ℓ < aₗ となるが、境界を適用すると 0% に低下する。
• 観測ノイズの事前分布により不足学習が軽減され、ノイズを固定した場合に σ²ₙ < 0.01 となるモデルの割合が、8.3% から 6.7% に減少する。
• 単一ターゲットODEモデルにおいて、制約付き ℓ と固定された σ²ₙ の組み合わせにより、TIN のような弱発現調節因子において深刻な過学習が是正された。
• 本手法により、6,795 個の遺伝子にわたるGPモデルの信頼性ある自動適合が可能となり、大規模解析における手動介入が大幅に削減された。
• 尤度面の分析から、小さな長尺度は点推定のアーティファクトではなく、スパースデータにおける本質的な過学習傾向を反映していることが確認された。
• 非級進的ODEのような複雑なモデルに対しても、制約を適用することで過学習率が低く保たれ、本手法の有効性が裏付けられた。