[論文レビュー] Detecting Abrupt Changes in the Presence of Local Fluctuations and Autocorrelated Noise

Gaetano Romano, Guillem Rigaill+2 more|arXiv (Cornell University)|May 4, 2020

Gene expression and cancer classification参考文献 57被引用数 34

ひとこと要約

本稿では、局所的平均の変動をランダムウォークとしてモデル化し、自己相関のあるノイズをAR(1)過程で表現することで、一変量時系列における急激な変化を検出する新規な動的計画法DeCAFSを提案する。罰則付き尤度コスト関数をBIC罰則で最小化することで、自己相関と局所的変動が共に存在する現実的な条件下でも、既存手法を上回る性能を発揮することが、ウェルログおよびバクテリアの遺伝子発現データを用いて示された。

ABSTRACT

Whilst there are a plethora of algorithms for detecting changes in mean in univariate time-series, almost all struggle in real applications where there is autocorrelated noise or where the mean fluctuates locally between the abrupt changes that one wishes to detect. In these cases, default implementations, which are often based on assumptions of a constant mean between changes and independent noise, can lead to substantial over-estimation of the number of changes. We propose a principled approach to detect such abrupt changes that models local fluctuations as a random walk process and autocorrelated noise via an AR(1) process. We then estimate the number and location of changepoints by minimising a penalised cost based on this model. We develop a novel and efficient dynamic programming algorithm, DeCAFS, that can solve this minimisation problem; despite the additional challenge of dependence across segments, due to the autocorrelated noise, which makes existing algorithms inapplicable. Theory and empirical results show that our approach has greater power at detecting abrupt changes than existing approaches. We apply our method to measuring gene expression levels in bacteria.

研究の動機と目的

• データに自己相関のあるノイズと局所的平均の変動が存在する場合、標準的な変化点検出手法が性能を発揮しない問題に対処すること。
• 両者を同時に考慮する整合的な統計的モデルを構築すること。
• この複雑なモデル下で罰則付きコストを正確に最小化できる効率的な動的計画法を開発すること。
• 特に、急激なシフトと徐々なドリフトの両方が生物学的に意味を持つ遺伝子発現解析において、実世界のデータ上での手法の性能を評価すること。
• モデル誤指定下でも、DeCAFSが従来手法よりもより正確かつ頑健な変化点検出を提供することを示すこと。

提案手法

• 局所的平均の変動をランダムウォーク過程としてモデル化し、測定ノイズをAR(1)過程としてモデル化する。
• 全モデルの対数尤度に基づく罰則付きコスト関数を定義し、各変化点に対してBIC罰則を追加する。
• AR(1)ノイズによるセグメント間の依存性を扱えるよう、機能的プルーニングを拡張した新規な動的計画法DeCAFSを開発する。
• 事前処理ステップを用いて、データのkラグ差分から分散および自己相関を推定する。
• 全モデル下での最適なセグメンテーションを効率的に計算するために、機能的プルーニング手法を適用する。
• 理論的結果に基づく罰則の拡張戦略を採用し、モデル誤差下でも一貫性を維持する。

実験結果

リサーチクエスチョン

• RQ1 局所的平均の変動と自己相関のあるノイズの両方を同時に考慮するモデルが、実世界の時系列における変化点検出を改善できるか？
• RQ2 DeCAFSは、ワイルドバイナリセグメンテーションやAR1Segといった既存手法と比較して、精度と頑健性において優れているか？
• RQ3 BIC罰則を用いた全尤度ベースの罰則付きコスト関数が、近似手法やヒューリスティックな罰則よりも優れた検出能力を発揮するか？
• RQ4 モデルがわずかに誤指定されていても、DeCAFSは変化点の数と位置の推定を一貫して行えるか？
• RQ5 バクテリアの遺伝子発現データのような実際の生物学的データにおいて、DeCAFSは急激なシフトと徐々なドリフトの両方が生物学的に意味を持つ状況でどのように性能を発揮するか？

主な発見

• DeCAFSは標準的手法と比較して過剰適合を顕著に低減する：ウェルログデータでは、デフォルトの罰則設定下で10個の変化点を検出するが、標準的基準を用いたワイルドバイナリセグメンテーションは25個、AR(1)罰則を拡張した手法は18個を検出する。
• hmmTilingと比較して、終結子の検出において生物学的真値によりよく一致する。全閾値δにおいて、M(δ)値が一貫して高い。
• プロモーターの検出においては、低閾値ではhmmTilingと同等の性能を示すが、高閾値ではそれを上回り、ノイズにさらされてもより頑健であることが示された。
• ウェルログデータでは、デフォルトの罰則設定下で10個の変化点を検出しており、これは岩層の遷移を専門家が解釈するのとよく一致する。
• バクテリアの遺伝子発現データでは、DeCAFSは約7分で192,000点のデータを処理するが、hmmTilingは両ストランドで5時間36分を要する。
• 理論的分析により、罰則を適切に拡張すれば、モデル誤指定下でもDeCAFSが変化点推定の一貫性を維持することが確認された。