[論文レビュー] Element-wise estimation error of a total variation regularized estimator for change point detection

Teng Zhang|arXiv (Cornell University)|Jan 3, 2019

Statistical Methods and Inference参考文献 35被引用数 4

ひとこと要約

本稿は、変動点検出における融合lasso（全 variation 正則化推定器）の要素ごとの推定誤差バウンドを提供し、すべての変動点を近似的に検出可能なしきい値処理ベースのスクリーニング手法の構築を可能にする。分析は漸近的でなく、任意の正則化パラメータに対して有効であり、ほぼ最適な誤差率を達成する。また、グループ融合lassoへの拡張も含む。

ABSTRACT

This work studies the total variation regularized $\ell_2$ estimator (fused lasso) in the setting of a change point detection problem. Compared with existing works that focus on the sum of squared estimation errors, we give bound on the element-wise estimation error. Our bound is nearly optimal in the sense that the sum of squared error matches the best existing result, up to a logarithmic factor. This analysis of the element-wise estimation error allows a screening method that can approximately detect all the change points. We also generalize this method to the muitivariate setting, i.e., to the problem of group fused lasso.

研究の動機と目的

• 変動点検出における融合lasso推定器の非漸近的、要素ごとの推定誤差バウンドを構築すること。
• 要素ごとの誤差制御を用いて、すべての変動点を近似的に検出可能なスクリーニング手順を可能にすること。
• 多変量グループ融合lasso設定への分析の一般化を図ること。これは、既存の文献において未だ十分に検討されていない分野である。
• 誤差バウンドをほぼ最適に保つこと。これは、最高の既知の二乗誤差結果と対数因子を除いて一致する。
• 任意の正則化パラメータに対して有効な理論的保証を確立すること。固定パラメータの仮定を避ける。

提案手法

• 幾何学的およびベクトルの角度解析を用いて、融合lasso解における各観測値の推定誤差の要素ごとの上界を導出する。
• 推定信号にしきい値処理を適用し、誤差バウンドに基づいて候補となる変動点を同定するスクリーニング手順を適用する。
• ベクトルの射影および角度不等式（例：正弦および逆正弦の不等式）を用いて、局所的な信号領域における推定誤差を制御する。
• 修正された推定器を用いた摂動議論を用いて、推定信号セグメントのノルムの上界を導出する。
• 多変量信号への幾何学的および誤差制御フレームワークの拡張により、グループ融合lassoへの分析の一般化を実現する。
• 誤差バウンドが $ O(1/ ext{polylog}( ext{信号長})) $ のスケーリングを示し、最高の二乗誤差バウンドとほぼ一致することを示す。

実験結果

リサーチクエスチョン

• RQ1 正則化パラメータに依存しない、変動点検出における融合lasso推定器の要素ごとの推定誤差バウンドを導出可能か？
• RQ2 このような要素ごとのバウンドを用いて、実用的なスクリーニング手法を設計し、すべての変動点を近似的に検出可能か？
• RQ3 多変量グループ融合lasso設定における推定誤差の挙動は、単変量の場合とどのように異なるか？
• RQ4 誤差バウンドを、二乗誤差の最適な $ O(1/ ext{polylog}(n)) $ 確率に改善可能か？
• RQ5 この分析をグラフ融合lassoやトレンドフィルタリングなどのより複雑な構造へ一般化可能か？

主な発見

• 各観測値の要素ごとの推定誤差は、最適な二乗誤差レートの対数因子まで制御可能である。
• 要素ごとの誤差バウンドを用いて、しきい値処理ベースのスクリーニング手法を構築でき、すべての変動点を近似的に検出可能である。
• 分析は任意の正則化パラメータ $ heta $ に対して有効であり、$ heta $ を固定する既存の研究よりも柔軟性がある。
• グループ融合lassoにおいて、誤差バウンドは $ O(1/ ext{polylog}(n)) $ のスケーリングを示し、対数因子を除いて単変量の場合と一致する。
• 理論的フレームワークにより、全 variation 正則化を伴う区分定数モデルにおける信号回復の理解が向上する。
• 本稿では、グループ融合lasso設定において $ O(1/ ext{polylog}(n)) $ のバウンドを $ O(1/ heta) $ に改善することを未解決問題として特定している。