[논문 리뷰] Total Variation Classes Beyond 1d: Minimax Rates, and the Limitations of Linear Smoothers

Veeranjaneyulu Sadhanala, Yu-Xiang Wang외 1명|arXiv (Cornell University)|2016. 05. 26.

Statistical Methods and Inference참고 문헌 22인용 수 36

한 줄 요약

이 논문은 d차원 격자에서 총변동(Total Variation, TV) 노이즈 제거에 대해 최소최대 최적 추정 속도를 확립하며, TV 노이즈 제거(fused lasso)가 유계 TV 함수 클래스에서 속도 최적임을 증명한다. 반면, 라플라시안 스무딩과 라플라시안 고유맵과 같은 선형 스무딩 방법은 이러한 비연속적이고 고변동성 함수에 대해 증명된 바로가지로 비최적임을 보이며, 고차원에서의 기본적인 통계-계산적 트레이드오프를 드러낸다.

ABSTRACT

We consider the problem of estimating a function defined over $n$ locations on a $d$-dimensional grid (having all side lengths equal to $n^{1/d}$). When the function is constrained to have discrete total variation bounded by $C_n$, we derive the minimax optimal (squared) $\ell_2$ estimation error rate, parametrized by $n$ and $C_n$. Total variation denoising, also known as the fused lasso, is seen to be rate optimal. Several simpler estimators exist, such as Laplacian smoothing and Laplacian eigenmaps. A natural question is: can these simpler estimators perform just as well? We prove that these estimators, and more broadly all estimators given by linear transformations of the input data, are suboptimal over the class of functions with bounded variation. This extends fundamental findings of Donoho and Johnstone [1998] on 1-dimensional total variation spaces to higher dimensions. The implication is that the computationally simpler methods cannot be used for such sophisticated denoising tasks, without sacrificing statistical accuracy. We also derive minimax rates for discrete Sobolev spaces over $d$-dimensional grids, which are, in some sense, smaller than the total variation function spaces. Indeed, these are small enough spaces that linear estimators can be optimal---and a few well-known ones are, such as Laplacian smoothing and Laplacian eigenmaps, as we show. Lastly, we investigate the problem of adaptivity of the total variation denoiser to these smaller Sobolev function spaces.

연구 동기 및 목표

• d차원 격자에서 이산 총변동이 유계인 함수에 대한 최소최대 최적 추정 속도를 유도하는 것.
• 계산적으로 더 단순한 선형 추정기—예를 들어 라플라시안 스무딩과 라플라시안 고유맵—이 TV 노이즈 제거와 동일한 통계 성능을 달성할 수 있는지 조사하는 것.
• 선형 추정기가 최적일 수 있는 더 작은 이산 소볼레프 공간과의 최소최대 속도를 비교하는 것.
• TV 노이즈 제거가 더 작은 소볼레프 함수 클래스에 대해 적응성(Adaptivity)을 보이는지 평가하는 것—즉, 스무딩 정도의 지식 없이도 최적 속도를 자동으로 달성하는지 여부를 검토하는 것.

제안 방법

• 유계 총변동을 가진 d차원 격자 그래프에서 제곱 ℓ2 추정 오차에 대한 최소최대 하한 및 상한을 유도한다.
• d차원 격자에서 그래프 라플라시안의 명시적 고유값 분석을 수행하며, 크로네커乘법 구조와 삼각함수 항등식을 활용한다.
• 적분 기준과 구좌표 변환을 적용하여 고유값 합을 제어하며, 특히 라플라시안 추정기에서 (I + λL)^{-2}의 트레이스를 제어한다.
• 최악의 위험과 최소최대 하한을 비교하여, 선형 추정기(Laplacian 스무딩 및 고유맵)가 d ≥ 2에서 총변동 클래스에서 반드시 비최적임을 증명한다.
• d차원 격자에서의 이산 소볼레프 공간에 대한 최소최대 속도를 유도하며, 이는 선형 추정기가 최적일 수 있는 더 작은 함수 클래스임을 보여준다.
• TV 노이즈 제거의 소볼레프 클래스에 대한 적응성을 분석하기 위해, 이들의 위험을 이러한 더 작은 공간에서의 최소최대 속도와 비교한다.

실험 결과

연구 질문

• RQ1 d차원 격자에서 총변동이 유계인 함수에 대한 최소최대 최적 추정 속도는 무엇인가?
• RQ2 d ≥ 2에서, 라플라시안 스무딩과 라플라시안 고유맵과 같은 선형 추정기가 총변동 클래스에서 최소최대 최적 속도를 달성할 수 있는가?
• RQ3 이산 소볼레프 공간의 최소최대 속도는 총변동 클래스의 것과 어떻게 비교되며, 선형 추정기는 이들 공간에서 최적일 수 있는가?
• RQ4 TV 노이즈 제거기는 더 작은 소볼레프 함수 클래스에 대해 적응성이 있는가? 즉, 스무딩 정도의 사전 지식 없이도 최소최대 속도를 자동으로 달성하는가?

주요 결과

• d차원 격자에서 총변동이 유계인 함수에 대한 최소최대 최적 제곱 ℓ2 추정 오차 속도는 총변동이 C_n ≍ n^{1 - 1/d}로 유계일 때 n^{-2/(d+2)}로 척도가 조정된다.
• TV 노이즈 제거(fused lasso)는 이 최소최대 속도를 달성하며, 따라서 총변동 클래스에서 속도 최적임이 입증된다.
• 라플라시안 스무딩과 라플라시안 고유맵은 계산적으로 효율적이지만, d ≥ 2에서 총변동 클래스에서 반드시 비최적임이 증명된다.
• 더 높은 연속성 조건을 가진 더 작은 이산 소볼레프 공간에서는 최소최대 속도가 총변동 클래스보다 엄밀히 더 우수하며, 라플라시안 스무딩 및 고유맵과 같은 선형 추정기는 이러한 공간에서 최적임이 입증된다.
• 논문은 선형 추정기의 총변동 클래스에서의 비최적성이 계산적 제약 때문이 아니라, 근본적인 통계적 제약 때문임을 규명한다.
• 2D 및 3D에서의 실험 결과는, 둘 다 최고 성능로 튜닝된 경우에도 TV 노이즈 제거가 라플라시안 스무딩보다 평균 제곱오차에서 뛰어나며, 이는 선형 방법의 이론적 비최적성과 일치한다.