[論文レビュー] Total Variation Classes Beyond 1d: Minimax Rates, and the Limitations of Linear Smoothers

Veeranjaneyulu Sadhanala, Yu-Xiang Wang+1 more|arXiv (Cornell University)|May 26, 2016

Statistical Methods and Inference参考文献 22被引用数 36

ひとこと要約

本稿は、d次元グリッド上での全 Variation (TV) デノイジングの最小最大最適推定レートを確立し、TV デノイジング（融合lasso）が有界TV関数クラス上でレート最適であることを証明する。一方、Laplacian スムージング や Laplacian 固有写像といった線形スムージング手法は、滑らかでない、高変動性のある関数に対しては、明確に劣化していることが示され、高次元における根本的な統計的・計算的トレードオフを浮き彫りにする。

ABSTRACT

We consider the problem of estimating a function defined over $n$ locations on a $d$-dimensional grid (having all side lengths equal to $n^{1/d}$). When the function is constrained to have discrete total variation bounded by $C_n$, we derive the minimax optimal (squared) $\ell_2$ estimation error rate, parametrized by $n$ and $C_n$. Total variation denoising, also known as the fused lasso, is seen to be rate optimal. Several simpler estimators exist, such as Laplacian smoothing and Laplacian eigenmaps. A natural question is: can these simpler estimators perform just as well? We prove that these estimators, and more broadly all estimators given by linear transformations of the input data, are suboptimal over the class of functions with bounded variation. This extends fundamental findings of Donoho and Johnstone [1998] on 1-dimensional total variation spaces to higher dimensions. The implication is that the computationally simpler methods cannot be used for such sophisticated denoising tasks, without sacrificing statistical accuracy. We also derive minimax rates for discrete Sobolev spaces over $d$-dimensional grids, which are, in some sense, smaller than the total variation function spaces. Indeed, these are small enough spaces that linear estimators can be optimal---and a few well-known ones are, such as Laplacian smoothing and Laplacian eigenmaps, as we show. Lastly, we investigate the problem of adaptivity of the total variation denoiser to these smaller Sobolev function spaces.

研究の動機と目的

• d次元グリッド上での離散的全 Variation が有界な関数の最小最大最適推定レートを導出すること。
• 計算的に単純な線形推定器（Laplacian スムージング や Laplacian 固有写像など）が、TV デノイジングと同等の統計的性能を達成できるかどうかを調査すること。
• TV 関数クラスの最小最大レートと、より小さな離散的ソボレフ空間のレートを比較し、線形推定器がその空間で最適である可能性を検討すること。
• TV デノイジングがより小さなソボレフ関数クラスに適応可能かどうかを評価し、滑らかさクラスの事前知識なしに最適レートを達成できるかどうかを検討すること。

提案手法

• 有界全 Variation を持つd次元グリッドグラフ上での二乗 ℓ2 推定誤差に対する最小最大下界と上界を導出する。
• d次元グリッドにおけるグラフラプラシアンの明示的固有値解析を用い、Kronecker 積構造と三角恒等式を活用する。
• 積分の境界評価と球座標変換を適用して、特に線形推定器における (I + λL)^{-2} のトレースを制御する。
• 線形推定器（Laplacian スムージング および 固有写像）が、全 Variation クラス上で d ≥ 2 において明確に劣化していることを、最悪ケースリスクと最小最大下界を比較することで証明する。
• d次元グリッド上での離散的ソボレフ空間の最小最大レートを導出し、滑らかさがより高いこれらの空間は、線形推定器が最適となるより小さな関数クラスであることを示す。
• TV デノイジングのソボレフ空間への適応性を、これらのより小さな空間上の最小最大レートとのリスク比較により分析する。

実験結果

リサーチクエスチョン

• RQ1 d次元グリッド上での全 Variation が有界な関数の最小最大最適推定レートは何か？
• RQ2 Laplacian スムージング や Laplacian 固有写像といった線形推定器は、d ≥ 2 において全 Variation クラス上で最小最大最適レートを達成できるか？
• RQ3 離散的ソボレフ空間の最小最大レートは、全 Variation クラスのそれと比べてどう異なるのか？ また、線形推定器はその空間で最適性を達成できるか？
• RQ4 TV デノイザーはより小さなソボレフ関数クラスに適応可能か？ つまり、滑らかさクラスの事前知識なしに最小最大レートを達成できるか？

主な発見

• d次元グリッド上での全 Variation 関数の最小最大最適二乗 ℓ2 推定誤差レートは、全 Variation が C_n ≍ n^{1 - 1/d} で有界であるとき、n^{-2/(d+2)} に比例する。
• TV デノイジング（融合lasso）はこの最小最大レートを達成しており、したがって全 Variation クラス上でレート最適である。
• Laplacian スムージング および Laplacian 固有写像は、計算的に効率が良く、線形推定器であるが、d ≥ 2 において全 Variation クラス上で明確に劣化している。
• より滑らかさの高い離散的ソボレフ空間（より高い滑らかさ）では、最小最大レートは全 Variation クラスのそれよりも厳密に良好であり、Laplacian スムージング や 固有写像といった線形推定器は、これらの空間上で最適である。
• 本稿は、線形推定器が全 Variation クラス上で劣化しているのは、計算上の制限によるものではなく、根本的な統計的制限であることを確立している。
• 2次元および3次元での実験結果は、両者を最良の性能にチューニングした場合でも、TV デノイジングがLaplacian スムージングを平均二乗誤差で上回ることを確認しており、理論的な線形手法の劣化と整合的である。