[論文レビュー] Localizing Changes in High-Dimensional Regression Models

Alessandro Rinaldo, Daren Wang+3 more|arXiv (Cornell University)|Oct 20, 2020

Statistical Methods and Inference参考文献 24被引用数 8

ひとこと要約

本稿では、係数が区分的定数である高次元線形回帰モデルにおける変化点の局所化のための動的計画法に基づく手法を提案する。弱い信号対雑音比条件下でも最適な局所化誤差率を達成し、推定誤差を明示的に低減するためのリファインメント手順を導入しており、これは最小最大下界まで対数要因を除いて一致する。

ABSTRACT

This paper addresses the problem of localizing change points in high-dimensional linear regression models with piecewise constant regression coefficients. We develop a dynamic programming approach to estimate the locations of the change points whose performance improves upon the current state-of-the-art, even as the dimensionality, the sparsity of the regression coefficients, the temporal spacing between two consecutive change points, and the magnitude of the difference of two consecutive regression coefficient vectors are allowed to vary with the sample size. Furthermore, we devise a computationally-efficient refinement procedure that provably reduces the localization error of preliminary estimates of the change points. We demonstrate minimax lower bounds on the localization error that nearly match the upper bound on the localization error of our methodology and show that the signal-to-noise condition we impose is essentially the weakest possible based on information-theoretic arguments. Extensive numerical results support our theoretical findings, and experiments on real air quality data reveal change points supported by historical information not used by the algorithm.

研究の動機と目的

• 区分的定数係数を有する高次元線形回帰モデルにおける変化点を推定する、計算的に効率的かつ一致性を持つ手法の開発。
• 次元数、スパarsity、変化点間隔、信号強度の変動に適応する、より鋭い局所化誤差率を達成する点で、既存手法の改善。
• 変化点の局所化と検出誤差に関する情報理論的下界を確立し、問題の根本的限界を示すこと。
• 初期の動的計画法による推定を超えて局所化誤差を明示的に低減するリファインメント手順の設計。
• 広範なシミュレーションと、大気質データを用いた実世界の分析を通じて理論的知見の妥当性を検証すること。

提案手法

• 本手法は、候補となるセグメンテーション点の集合上でペナルティ付き最小二乗基準を最小化することで、動的計画法を用いて変化点を推定する。
• 高次元の係数ベクトルに多くがゼロでない成分を含む場合に適応するため、スパarsity誘導ペナルティを組み込む。
• 局所的な再推定を、焦点を当てた最適化ウィンドウを用いて行う2段階目のリファインメント手順を適用し、局所化の正確性を向上させる。
• 理論的分析では、説明変数および誤差にサブガウス型の仮定を置き、設計共分散行列の固有値制約を課す。
• このアプローチは、やや弱い条件下でも、最小最大下界まで対数要因を除いて一致する局所化誤差率を達成することが示された。
• 情報理論的下界の分析では、ガウス混合分布のカイ二乗発散のバインドと集中不等式を用いて、理論的保証を導出している。

実験結果

リサーチクエスチョン

• RQ1 動的計画法を用いた手法は、区分的定数係数を有する高次元回帰モデルにおいて、最適な局所化誤差を達成できるか？
• RQ2 提案手法の性能は、次元数、スパarsity、変化点間隔、信号強度にどのように依存するか？
• RQ3 このモデルにおける変化点局所化の根本的限界（最小最大下界）は何か？
• RQ4 リファインメント手順は、初期の動的計画法推定値を超えて、明示的に局所化誤差を低減できるか？
• RQ5 一貫性のある推定に必要な信号対雑音比条件は、本質的に最も弱いものであるか？

主な発見

• 提案手法の動的計画法による推定は、対数要因を除いて最小最大下界まで一致する局所化誤差率を達成しており、これはやや弱い条件下でも成立する。
• リファインメント手順は、初期推定値の誤差を明示的に低減でき、初期手法が既に最高のレートを達成している場合でさえも、その性能を向上させる。
• 一貫性のある推定に必要な信号対雑音比条件が、情報理論的に最適であることが示され、より弱い条件下ではいかなる手法でも成功できないことが裏付けられた。
• 本モデルにおいて、検出誤差および局所化誤差の最小最大下界が、初めて確立された。これは、問題の根本的限界を確認するものである。
• シミュレーテッドデータ上の数値実験により理論的誤差率が確認され、大気質データを用いた実データ分析では、アルゴリズムに組み込まれていない既知の歴史的出来事と一致する変化点が検出された。
• 次元数やスパarsityが標本サイズとともに変化しても、本手法は計算的に効率的であり、現代の高次元時系列データに適している。