[論文レビュー] Homogeneity and change-point detection tests for multivariate data using rank statistics

Alexandre Lung-Yut-Fong, Céline Lévy‐Leduc+1 more|arXiv (Cornell University)|Jul 11, 2011

Statistical Methods and Inference参考文献 36被引用数 62

ひとこと要約

本稿では、ランク統計を用いた非パラメトリックな多変量の同一性および変化点検出検定を提案する。これはウィルコクソンランク検定を高次元データに拡張したものであり、動的計画法と漸近的p値を用いて、分布の変化（特に変数の部分集合でのみ変化が生じる場合）を頑健に検出可能である。非正規、相関構造、または汚染されたデータにおいても優れた性能を示す。

ABSTRACT

Detecting and locating changes in highly multivariate data is a major concern in several current statistical applications. In this context, the first contribution of the paper is a novel non-parametric two-sample homogeneity test for multivariate data based on the well-known Wilcoxon rank statistic. The proposed two-sample homogeneity test statistic can be extended to deal with ordinal or censored data as well as to test for the homogeneity of more than two samples. The second contribution of the paper concerns the use of the proposed test statistic to perform retrospective change-point analysis. It is first shown that the approach is computationally feasible even when looking for a large number of change-points thanks to the use of dynamic programming. Computable asymptotic $p$-values for the test are then provided in the case where a single potential change-point is to be detected. Compared to available alternatives, the proposed approach appears to be very reliable and robust. This is particularly true in situations where the data is contaminated by outliers or corrupted by noise and where the potential changes only affect subsets of the coordinates of the data.

研究の動機と目的

• パラメトリックな分布的仮定に依存しない、多変量データに対する頑健な非パラメトリックな二標本同一性検定を開発すること。
• ウィルコクソンランク統計を多変量、順序尺度、右打ち切りデータに拡張し、2つ以上の標本間の同一性を検定すること。
• 変化が変数の部分集合にのみ影響する可能性がある高次元時系列における後向きの変化点検出を可能にすること。
• 動的計画法を用いて複数の変化点を計算的に実行可能とし、単一の変化点検出における計算可能な漸近的p値を提供すること。
• 高次元において、特に汚染、重い尾、弱い信号パターンの下で、カーネルベースやパラメトリック手法の限界を克服すること。

提案手法

• マージナルランク統計に基づく多変量同一性検定を提案し、非パラメトリック枠組み内でウィルコクソンランク和検定を活用する。
• 計算複雑性を低減するために、動的計画法を用いて複数の変化点を効率的に探索する。
• 帰無仮説の下での検定統計量の漸近的分布を導出し、単一の変化点検出におけるp値の計算を可能にする。
• 推定量の安定化とアフィン不変性を確保するために、逆共分散行列（Σ⁻¹）を用いた変換を適用する。
• 帰無仮説の下で、検定統計量がブラウン運動の関数に弱収束することを確立し、理論的妥当性を保証する。
• コーシー・シュワルツの不等式と分散項の分解を用いて、検定統計量の二次形式の期待値を上限で抑え込む。

実験結果

リサーチクエスチョン

• RQ1 非正規性、相関構造、汚染に強い、高次元データにおける非パラメトリックな多変量同一性検定を構築できるか？
• RQ2 ウィルコクソンランク統計をどのように多変量設定に拡張し、位置の変化を検出しながらも頑健性を維持できるか？
• RQ3 帰無仮説の下での提案された検定統計量の漸近的分布は何か？
• RQ4 特に全体の分布が複雑な場合でも、変化が変数の部分集合にのみ影響する高次元データにおける変化を検出できるか？
• RQ5 さまざまな分布的仮定の下で、本手法はカーネルベースやパラメトリックな代替手法と比べてパワーと頑健性に優れているか？

主な発見

• ランク統計に基づく提案された同一性検定は、非正規性、重い尾分布、汚染に対して頑健であり、高次元設定ではカーネルベース手法を上回る性能を示す。
• 特に変化が変数の部分集合にのみ影響する場合に、局所的シフト代替仮説に対して良好なパワーを維持する。
• 単一の変化点検出における漸近的p値は計算可能であり、リサンプリングを用いずに形式的推論が可能である。
• 動的計画法の使用により、大規模データセットであっても複数の変化点を効率的に検出可能である。
• 帰無仮説の下で、検定統計量は独立したブラウン運動の関数に弱収束するため、その漸近的分布の妥当性が裏付けられる。
• 本手法はアフィン不変であり、座標間の中程度の相関に対しても良好に動作し、非正規性下でパラメトリック検定（ホットテリングのT²など）の欠点を回避する。