[論文レビュー] Distribution-Free Detection of Structured Anomalies: Permutation and Rank-Based Scans

Ery Arias-Castro, Rui M. Castro+2 more|arXiv (Cornell University)|Aug 12, 2015

Data-Driven Disease Surveillance参考文献 38被引用数 3

ひとこと要約

本稿では、帰無分布が未知である状況下での構造的異常検出を目的として、パーミュテーションベースとランクベースの2つの分布フリーな手法——スキャン統計量——を提案する。両手法が自然指数型分布族（正規分布やポアソン分布モデルを含む）において、オракルスキャン検定（真の帰無分布を知っていると仮定した場合の検定）と比較してほとんど損失のない検出力を持つことを示した。特にランクスキャン法は、計算上の利点と外れ値に対するロバスト性に優れている。

ABSTRACT

The scan statistic is by far the most popular method for anomaly detection, being popular in syndromic surveillance, signal and image processing, and target detection based on sensor networks, among other applications. The use of the scan statistics in such settings yields a hypothesis testing procedure, where the null hypothesis corresponds to the absence of anomalous behavior. If the null distribution is known, then calibration of a scan-based test is relatively easy, as it can be done by Monte Carlo simulation. When the null distribution is unknown, it is less straightforward. We investigate two procedures. The first one is a calibration by permutation and the other is a rank-based scan test, which is distribution-free and less sensitive to outliers. Furthermore, the rank scan test requires only a one-time calibration for a given data size making it computationally much more appealing. In both cases, we quantify the performance loss with respect to an oracle scan test that knows the null distribution. We show that using one of these calibration procedures results in only a very small loss of power in the context of a natural exponential family. This includes the classical normal location model, popular in signal processing, and the Poisson model, popular in syndromic surveillance. We perform numerical experiments on simulated data further supporting our theory and also on a real dataset from genomics.

研究の動機と目的

• 実世界の応用例（症候群監視やセンサーネットワークなど）において一般的に見られる帰無分布が不明な状況において、スキャン統計量の補正方法を解決すること。
• 従来のスキャン検定に依存しない、パラメトリックなデータ分布の仮定を必要としない分布フリーな代替手法の開発。
• 真の帰無分布を知っているオラクルスキャン検定と比較して、これらのノンパラメトリック手法の性能損失を定量化すること。
• 特に高次元または外れ値に敏感な状況において、ランクベーススキャン検定の計算効率とロバスト性の優位性を示すこと。
• シミュレートデータおよび実際のゲノムデータセットを用いた数値実験を通じて、理論的知見の妥当性を検証すること。

提案手法

• 帰無仮説の下でのデータの再サンプリングにより、パーミュテーションベースの補正を用い、パラメトリックな仮定なしにスキャン統計量の帰無分布を推定することで、妥当な仮説検定を可能にする。
• 元の観測値をその順位に置き換えた後、スキャン統計量を計算するランクベーススキャン検定を提案し、分布フリーな推論を実現する。
• 関心のある連続する区間（または領域）すべてにスキャン統計量を適用し、各区間における値（または順位）の和を計算し、その最大値を検定統計量とする。
• 極値理論および濃度不等式を用いて、帰無仮説および対立仮説の下でのスキャン統計量の漸近的性質を導出する。
• ランクスキャン検定のp値に関する理論的境界を確立し、対立仮説下でp値が指数関数的にゼロに収束することを示し、一貫性を確認する。
• データサイズに基づく一度限りの補正を用いることで、繰り返しモンテカルロシミュレーションに比べて計算が著しく効率的になる。

実験結果

リサーチクエスチョン

• RQ1 症候群監視やセンサーネットワークのような状況において、帰無分布が不明な場合にスキャン統計量をどのように補正できるか。
• RQ2 パーミュテーションベースおよびランクベーススキャン検定の性能損失は、帰無分布を知っているオラクルスキャン検定と比較してどの程度か。
• RQ3 ランクベーススキャン検定は、外れ値に対してロバストで、パーミュテーションベース補正よりも計算効率に優れているか。
• RQ4 未知の帰無分布が存在する状況でも、ランクベーススキャン検定が高い統計的検出力を維持する条件は何か。
• RQ5 提案手法は、シミュレートデータおよび実世界のデータ（例：ゲノムデータ）において理論的に正当化され、実証的に検証可能か。

主な発見

• パーミュテーションベーススキャン検定は、正規分布およびポアソン分布モデル下で、オラクルスキャン検定とほぼ同等の検出力を達成し、わずかな検出力損失にとどまる。
• ランクスキャン検定は分布フリーであり、特に正規位置モデルおよびポアソンモデル下でオラクル検定と比較して最小限の検出力損失を示す。
• ランクスキャン検定は、データサイズに基づく一度限りの補正で十分であり、繰り返しモンテカルロシミュレーションを必要とするパーミュテーション法と比較して、著しく計算が効率的である。
• 理論的分析により、対立仮説下でランクスキャン検定のp値が指数関数的にゼロに収束することが示され、一貫性が裏付けられた。
• シミュレートデータを用いた数値実験により、理論的知見が確認され、さまざまな異常構造に対してロバストな性能を示した。
• 実際のゲノムデータセットを用いた実証的検証により、ランクベーススキャン検定の実用的有用性とロバスト性が実世界の異常検出において裏付けられた。