[論文レビュー] Adaptive Risk Bounds in Univariate Total Variation Denoising and Trend Filtering

Adityanand Guntuboyina, Donovan Lieu+2 more|arXiv (Cornell University)|Feb 16, 2017

Statistical Methods and Inference参考文献 36被引用数 13

ひとこと要約

本稿では、1変量のトレンドフィルタリングおよび全変動ノイズ除去に対して、適応的リスクバウンドを確立し、関数の折りたたみ数が少ない（強いスパarsityを持つ）場合に、推定器が対数要因を除いてパラメトリックな $ n^{-1} $-レートの収束を達成することを示している。この手法は、スプラインに類似した構造におけるスパarsityを促進するために高階離散微分を活用し、メトリックエントロピーおよび接線錐解析を用いて理論的保証が得られている。

ABSTRACT

We study trend filtering, a relatively recent method for univariate nonparametric regression. For a given positive integer $r$, the $r$-th order trend filtering estimator is defined as the minimizer of the sum of squared errors when we constrain (or penalize) the sum of the absolute $r$-th order discrete derivatives of the fitted function at the design points. For $r=1$, the estimator reduces to total variation regularization which has received much attention in the statistics and image processing literature. In this paper, we study the performance of the trend filtering estimator for every positive integer $r$, both in the constrained and penalized forms. Our main results show that in the strong sparsity setting when the underlying function is a (discrete) spline with few "knots", the risk (under the global squared error loss) of the trend filtering estimator (with an appropriate choice of the tuning parameter) achieves the parametric $n^{-1}$ rate, up to a logarithmic (multiplicative) factor. Our results therefore provide support for the use of trend filtering, for every $r$, in the strong sparsity setting.

研究の動機と目的

• 強いスパarsity下での1変量非パラメトリック回帰におけるトレンドフィルタリング推定器のリスクバウンドを確立すること。
• 真の関数がスパースな離散スプラインである場合に、$ r $-次のトレンドフィルタリング推定器がパラメトリック $ n^{-1} $-レートを達成することを示すこと。
• すべての $ r \geq 1 $ に対して、トレンドフィルタリングの制約付きおよび罰則付き両形式の理論的分析を統一すること。
• トレンドフィルタリングがスパースかつ区分的多項式設定において適切に機能することの理論的裏付けを提供すること。

提案手法

• $ r $-次のトレンドフィルタリング推定器は、適合関数の $ r $-次離散微分に対する $ \ell^1 $-罰則を加えた二乗誤差の最小化として定義される。
• 制約付き形式では、$ r $-次差分の $ \ell^1 $-ノルムに上限 $ V $ を課す。一方、罰則付き形式では調整パrameter $ \lambda $ を用いる。
• 理論的分析は、メトリックエントロピーの境界と接線錐手法に依存し、推定器の局所的幾何構造を特徴づける。
• 主な不等式は、離散差分作用素と凸性の議論を用いて導出され、特に $ r $-次離散微分 $ D^{(r)}\theta $ が関与する。
• 分析により、$ \|D^{(r)}\theta\|_0 $ が $ k+1 $ 個の次数 $ r-1 $ の多項式部に分けられた離散スプラインと関連づけられ、スパarsityに基づくリスク制御が可能になる。
• ノード位置の間隔制約とAM-GM不等式を用いて、$ r $-次差分の絶対値の和に対する下界が導出される。

実験結果

リサーチクエスチョン

• RQ1 強いスパarsityが存在する状況で、トレンドフィルタリングはパラメトリック $ n^{-1} $-レートを達成するか？
• RQ2 真の関数に含まれるノード数が推定リスクにどのように影響するか？
• RQ3 制約付きおよび罰則付き両形式のトレンドフィルタリングの理論的性能を統一的に扱えるか？
• RQ4 高階離散微分は、スパarsityの促進と推定精度の向上にどのように寄与するか？
• RQ5 メトリックエントロピーおよび接線錐手法は、滑らかでない非パラメトリック推定器（トレンドフィルタリングなど）にどのように適用可能か？

主な発見

• $ r \geq 1 $ の場合、強いスパarsity下でトレンドフィルタリング推定器は、$ n^{-1} \log n $ のオーダーのリスクバウンドを達成し、対数要因を除いてパラメトリックレートに一致する。
• 適切なチューニングのもとで、制約付きおよび罰則付き両形式のトレンドフィルタリングは、類似したリスク性能を達成することが示された。
• $ r $-次離散微分 $ D^{(r)}\theta $ は、真の関数がノード数が少ない離散スプラインである場合にスパースになるため、適応的推定が可能になる。
• 絶対値の $ r $-次差分の和に対する下界として、$ \Omega((m - r)^r / n^{r-1}) $ が導出された。ここで $ m $ はノード数を表す。
• 分析により、トレンドフィルタリングが $ r > 1 $ であっても、真の関数のスパarsityレベルに適応可能であることが確認された。
• 接線錐およびメトリックエントロピー技術を用いて理論的保証が確立され、全変動ノイズ除去の結果が高階フィルタリングに拡張された。