[論文レビュー] Computing Valid p-value for Optimal Changepoint by Selective Inference using Dynamic Programming

Vo Nguyen Le Duy, Hiroki Toda+2 more|arXiv (Cornell University)|Feb 21, 2020

Statistical Methods and Inference参考文献 45被引用数 14

ひとこと要約

本稿では、動的計画法（DP）に基づく最適セグメンテーションによって検出されたチェンクポイントに対して、正確で漸近的でないp値を計算する選択的仮説検定手法OptSeg-SIを提案する。パラメトリックDPを導入して条件付き確率を最小限に抑え、統計的パワーを最大化することで、妥当な仮説検定を実現しつつ、計算効率が高く、合成データおよび実世界のデータセットにおいて既存手法を上回る性能を発揮する。

ABSTRACT

There is a vast body of literature related to methods for detecting changepoints (CP). However, less attention has been paid to assessing the statistical reliability of the detected CPs. In this paper, we introduce a novel method to perform statistical inference on the significance of the CPs, estimated by a Dynamic Programming (DP)-based optimal CP detection algorithm. Based on the selective inference (SI) framework, we propose an exact (non-asymptotic) approach to compute valid p-values for testing the significance of the CPs. Although it is well-known that SI has low statistical power because of over-conditioning, we address this disadvantage by introducing parametric programming techniques. Then, we propose an efficient method to conduct SI with the minimum amount of conditioning, leading to high statistical power. We conduct experiments on both synthetic and real-world datasets, through which we offer evidence that our proposed method is more powerful than existing methods, has decent performance in terms of computational efficiency, and provides good results in many practical applications.

研究の動機と目的

• 最適動的計画法によるセグメンテーションで検出されたチェンクポイントに対する統計的信頼性の評価が不足している問題に対処すること。
• 特に過剰な条件付き確率による統計的パワーの低下という点で、既存の選択的仮説検定手法の限界を克服すること。
• 条件付き確率を最小限に抑え、統計的パワーを最大化するように、正確で漸近的でないp値を提供する手法を開発すること。
• 短い系列および相関のある系列において、有意水準の誤り率制御と高い検出パワーを両立させること。
• 合成データおよび実世界のデータセット（バイオインフォマティクスおよび環境データを含む）を用いた実験を通じて、実用的有効性を示すこと。

提案手法

• 選択的仮説検定（SI）を用いて、最適チェンクポイントセグメンテーションの選択事象に条件づいた正確なp値を計算する。
• 最小十分統計量としての選択事象を効率的に特定するため、新規のパラメトリックDPアルゴリズムを導入し、過剰な条件付き確率を低減して統計的パワーを向上させる。
• 検出されたチェンクポイントおよび最適セグメンテーションパスにのみ条件づくように設計し、符号や特徴量への追加的条件付き確率を回避する。
• テスト統計量の条件付き分布を正確に導出することで、漸近的でない仮説検定を可能にする。
• 正規性の不備や分散の未知性に対しても頑健であり、Box-Cox変換または分散推定を施しても性能が維持される。
• 動的計画法による計算の有効性により、実験でほぼ線形時間計算量が得られ、計算効率が高くなる。

実験結果

リサーチクエスチョン

• RQ1 動的計画法による最適チェンクポイント検出に選択的仮説検定を効果的に適用し、妥当なp値を導けるか？
• RQ2 選択的仮説検定における過剰な条件付き確率をどのように最小化することで、チェンクポイント解析における統計的パワーを向上させられるか？
• RQ3 本手法は正規分布でない分布および分散が未知の状況でも、有意水準の誤り率制御を適切に維持できるか？
• RQ4 SMUCE や BinSeg-SI といった既存手法と比較して、本手法のパワーと計算効率はどの程度優れているか？
• RQ5 DNAコピー数解析のような実世界の応用において、真のチェンクポイントを信頼性高く検出でき、誤検出（偽陽性）を回避できるか？

主な発見

• OptSeg-SIは、BinSeg-SI や SMUCE といった既存手法よりも高い統計的パワーを達成しており、データセット 𝒟₁ ではパワー0.75、𝒟₂ ではパワー0.71を示した。
• ラプラス分布、歪正規分布、t₂₀ といった非正規分布下でも、名目水準（α = 0.05 および α = 0.1）で誤検出率が適切に制御された。
• 計算時間は系列長に対してほぼ線形に増加し、実用的導入に適した高い計算効率を示している。
• 分散がデータから推定されても、有意水準の誤り率制御が維持されることから、実世界の設定においても頑健であることが確認された。
• 実世界の応用において、Array CGH およびナイル川の流量データにおいて、他の手法を上回る真のチェンクポイント検出性能を示し、既存の知見と整合的であった。
• 本手法は、偽検出の確率を保証的に制御する有効なp値を提供するため、医療や金融分野における高リスク意思決定に適している。