[논문 리뷰] Optimal rates for total variation denoising

Jan-Christian Hütter, Philippe Rigollet|arXiv (Cornell University)|2016. 03. 30.

Image and Signal Denoising Methods참고 문헌 25인용 수 65

한 줄 요약

이 논문은 2차원 격자에서의 총변동(TV) 노이즈 제거에 대해 날카운 오라클 부등식을 수립하여, 조각별로 일정한, 헬더-스무쓰한, 이중 등방성인 이미지 모델에 대해 근사 최적의 추정 속도를 달성함을 보여준다. 분석은 비정규화된 라플라시안의 스펙트럼 성질, 특히 고유벡터의 분산 방지 및 스펙트럼 감쇠를 활용하여 평균 제곱오차에서 최적 수렴 속도를 보장하는 데이터에 의존하는 정규화 파rameter를 유도한다.

ABSTRACT

Motivated by its practical success, we show that the two-dimensional total variation denoiser satisfies a sharp oracle inequality that leads to near optimal rates of estimation for a large class of image models such as bi-isotonic, Hölder smooth and cartoons. Our analysis hinges on properties of the unnormalized Laplacian of the two-dimensional grid such as eigenvector delocalization and spectral decay. We also present extensions to more than two dimensions as well as several other graphs.

연구 동기 및 목표

• 이미지 복원에서 총변동(TV) 노이즈 제거의 실용적 성공과 이론적 이해 사이의 격차를 메우기 위해.
• 가우시안 화이트 노이즈 모델 하에서 TV 노이즈 제거의 최소 최대 최적 추정 속도를 수립하기 위해.
• 비정규화된 라플라시안의 스펙트럼 성질을 이용하여 2차원 격자와 더 일반적인 그래프에서 TV 노이즈 제거의 성능을 분석하기 위해.
• 구조화된 이미지 모델에 대해 근사 오차와 추정 오차를 균형 잡는 날카운 오라클 부등식을 유도하기 위해.
• 1차원 융합 라소(fused Lasso) 결과를 초월하여 고차원 격자 및 유리한 스펙트럼 구조를 가진 다른 그래프로 결과를 확장하기 위해.

제안 방법

• TV 노이즈 제거를 볼록 최적화 문제로 공식화: $\hat{\theta} \in \arg\min_{\theta} \frac{1}{n}\|\theta - y\|_2^2 + \lambda\|D\theta\|_1 $, 여기서 $D$는 인cidience 행렬이다.
• 2차원 격자의 비정규화된 라플라시안 $L = D^T D$를 분석하여 스펙트럼 감쇠와 고유벡터 분산 방지를 중심으로 추정 오차를 통제한다.
• 근사 오차 $\|\theta^\uparrow - \theta^*\|^2$와 $\lambda\|D\theta^\uparrow\|_1$를 포함하는 추정 오차를 균형 잡는 날카운 오라클 부등식을 유도한다.
• 느린 속도 경계를 사용하여 확률적으로 높은 수준의 편차 통제를 위해 정규화 파rameter $\lambda = c\sigma\sqrt{(\log n)\log(n/\delta)}/n$를 유도한다.
• 구조화된 모델(이중 등방성 행렬, 헬더-스무쓰한 함수, 카툰 이미지 등)에 대해 명시적 근사 오차 경계를 통해 적용한다.
• 유사한 스펙트럼 성질을 활용하여 유한 차원 격자 및 차수 제한이 있는 그래프로 결과를 확장한다.

실험 결과

연구 질문

• RQ1 2차원 가우시안 화이트 노이즈 모델 하에서 총변동(TV) 노이즈 제거의 최적 추정 속도는 무엇인가?
• RQ2 TV 노이즈 제거의 성능은 특히 2차원 격자에서의 기저 그래프의 스펙트럼 성질에 어떻게 의존하는가?
• RQ3 구조화된 이미지 모델 전반에 걸쳐 근사 최소 최적 성능을 달성하는 날카운 오라클 부등식을 수립할 수 있는가?
• RQ4 고차원 설정에서 정규화 파rameter $\lambda$의 선택이 추정 오차에 어떻게 영향을 미치는가?
• RQ5 불연속성의 수를 사전 지식 없이도 조각별 일정하거나 스무쓰한 이미지 구조의 복잡성에 TV 노이즈 제거가 얼마나 적응 가능한가?

주요 결과

• 확률 적어도 $1 - 2\delta$에서 $\frac{1}{n}\|\hat{\theta} - \theta^*\|^2 \leq \frac{1}{n}\|\theta^\uparrow - \theta^*\|^2 + C\sigma\sqrt{\frac{(\log n)\log(n/\delta)}{n}}\sqrt{D(\theta^\uparrow)} + C\frac{\sigma^2}{n}\log(e/\delta)$ 이다.
• 이 속도는 이중 등방성 행렬에 대해 최소 최대 최적 속도를 충족하며, 이전 연구 대비 로그 항의 지수를 $\log^8 n$에서 $\log^2 n$으로 개선하여 더 낮은 척도를 달성한다.
• 카툰 이미지 및 헬더-스무쓰한 함수의 경우, 구조화된 클래스로의 투영을 통해 근사 오차를 통제함으로써 근사 최적 속도를 달성한다.
• 분석은 2차원 격자의 스펙트럼 성질—특히 고유벡터 분산 방지 및 다항식 스펙트럼 감쇠—이 1차원 경우보다 더 날카운 오차 경계를 가능하게 함을 드러낸다.
• 이전 연구와 달리, 정규화 파arameter $\lambda$는 총변동 $D(\theta^\uparrow)$의 지식이 필요로 하지 않으며, 2차원 격자의 유리한 스펙트럼 행동 덕분이다.
• 비정규화된 라플라시안의 유사한 스펙트럼 감쇠 및 분산 방지 성질을 만족하는 한, 이 방법은 고차원 격자 및 차수 제한이 있는 그래프로 확장 가능하다.