[論文レビュー] Denoising and change point localisation in piecewise-constant high-dimensional regression coefficients

Fan Wang, Oscar Hernán Madrid Padilla+2 more|arXiv (Cornell University)|Oct 27, 2021

Statistical Methods and Inference参考文献 36被引用数 5

ひとこと要約

本稿は、高次元の区分的定数回帰における融合lasso推定量のための新しい制限等方性条件を提案し、制約付きおよびペナルティ付き融合lassoの推定誤差バウンドを導出する。推定誤差は、非ゼロ係数の数と変化点の数の比に応じて、lassoまたは融合lassoのレートに支配されることが示され、真の区分的定数構造の回復を向上させるための後処理手順を導入する。

ABSTRACT

We study the theoretical properties of the fused lasso procedure originally proposed by \cite{tibshirani2005sparsity} in the context of a linear regression model in which the regression coefficient are totally ordered and assumed to be sparse and piecewise constant. Despite its popularity, to the best of our knowledge, estimation error bounds in high-dimensional settings have only been obtained for the simple case in which the design matrix is the identity matrix. We formulate a novel restricted isometry condition on the design matrix that is tailored to the fused lasso estimator and derive estimation bounds for both the constrained version of the fused lasso assuming dense coefficients and for its penalised version. We observe that the estimation error can be dominated by either the lasso or the fused lasso rate, depending on whether the number of non-zero coefficient is larger than the number of piece-wise constant segments. Finally, we devise a post-processing procedure to recover the piecewise-constant pattern of the coefficients. Extensive numerical experiments support our theoretical findings.

研究の動機と目的

• アイデンティティ設計行列を超える高次元設定における融合lassoの理論的誤差バウンドの欠如に対処すること。
• 標準的なエントリごとのスパarsity仮定を緩和し、高次元の回帰係数を未知の変化点を持つ区分的定数としてモデル化すること。
• 回帰係数における正確なノイズ除去と精密な変化点局所化を同時に達成すること。
• 融合lasso推定量からの真の区分的定数構造の回復を向上させるための後処理手順を開発すること。
• 融合lasso推定量に特化した新しい設計条件に基づく理論的性能保証を確立すること。

提案手法

• 融合lasso推定量に特化した高次元設定における設計行列に対する新しい制限等方性条件を定式化する。
• この新しい条件の下で、制約付きおよびペナルティ付き融合lassoの推定誤差バウンドを導出する。
• 融合lasso推定量をよりよく真の区分的定数係数構造に回復できるように改善する後処理アルゴリズムを導入する。
• lassoレートと融合lassoレートのトレードオフを分析し、支配的レートが非ゼロ係数の数と変化点数の比に依存することを示す。
• 変化点局所化の正確さを評価するために、ハウスドルフ距離メトリックを用い、推定された変化点集合と真の変化点集合を比較する。
• バンド共分散構造を有するガウスラジアン行列を用いた広範な数値実験を通じて、理論的結果の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 一般の設計行列のもとで、高次元の区分的定数回帰における融合lassoの最適推定誤差レートは何か？
• RQ2 非ゼロ係数の相対的数と変化点の数の比が推定誤差レートにどのように影響するか？
• RQ3 後処理手順は、融合lasso推定量からの真の区分的定数構造の回復を向上させることができるか？
• RQ4 どのような設計行列の条件下で、融合lassoは最適なノイズ除去と変化点局所化を達成するか？
• RQ5 提案された制限等方性条件は、c-RIPなどの既存の条件と比較して、理論的保証においてどのように異なるか？

主な発見

• 非ゼロ係数の数が変化点の数を上回る場合、推定誤差はlassoレートに支配され、そうでない場合は融合lassoレートに支配される。
• h=10、n/p=0.5、τ=2のシミュレーションでは、FLMTF法が|S(\tilde{x})-S| = 1.13(0.66)を達成し、FLおよびFLMFを著しく上回った。
• τ=4の場合、ITALE法が|S(\tilde{x})-S| = 0.26(1.06)を達成し、高ノイズ下でも優れた変化点局所化を示した。
• τ=0.5の場合、FLMTF法がd(S(\tilde{x})|S_0) = 19.75(5.95)を達成し、真の変化点を特定する強力な性能を示した。
• 提案された後処理手順は、特に高ノイズ環境下で推定された変化点と真の変化点の間のハウスドルフ距離を顕著に低減した。
• 新規に提案された制限等方性条件により、アイデンティティの場合を除く一般の設計行列下でも融合lassoの理論的誤差バウンドが可能になった。