[논문 리뷰] Oracle inequalities for image denoising with total variation regularization

Francesco Ortelli, Sara van de Geer|arXiv (Cornell University)|2019. 11. 17.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 이산 총변동성의 ℓ¹-노름을 페널티로 사용하는 분석 추정기(analysis estimator)를 통해 이중 차원에서 총변동성 정규화된 영상 노이즈 제거에 대한 오라클 부등식을 수립한다. 효과적 희박성(Effective sparsity)을 제한하기 위해 보간 행렬(Interpolating matrix)을 도입함으로써 저속률(fast rates)을 도출하였으며, 이는 이전의 일차원 결과를 확장하는 것으로, 또한 기존의 경계와 일치하는 느린 속도(slow rate)도 확립하였다. 이는 경험 과정(empirical processes)에 대한 투영(Projection) 추론 기반으로 이루어졌다.

ABSTRACT

We derive oracle results for discrete image denoising with a total variation penalty. We consider the least squares estimator with a penalty on the $\ell^1$-norm of the total discrete derivative of the image. This estimator falls into the class of analysis estimators. A bound on the effective sparsity by means of an interpolating matrix allows us to obtain oracle inequalities with fast rates. The bound is an extension of the bound by Ortelli and van de Geer [2019c] to the two-dimensional case. We also present an oracle inequality with slow rates, which matches, up to a log-term, the rate obtained for the same estimator by Mammen and van de Geer [1997]. The key ingredient for our results are the projection arguments to bound the empirical process due to Dalalyan et al. [2017].

연구 동기 및 목표

• 일차원에서의 오라클 부등식 결과를 총변동성 정규화가 있는 이중 차원 영상 노이즈 제거로 확장하는 것.
• 효과적 희박성을 제어하기 위해 보간 행렬을 사용하여 영상 기울기의 효과적 희박성을 유한하게 제한하는 것.
• 이중 차원에서의 최소제곱 추정기의 ℓ¹-정규화된 총변동성에 대해 빠른 속도와 느린 속도 오라클 부등식을 유도하는 것.
• 고차원 영상 노이즈 제거에서 추정 오차를 제어하기 위해 투영 기반 경험 과정 기법을 적용하는 것.

제안 방법

• 연구는 영상의 총변동성에 대한 ℓ¹-페널티를 부가한 최소제곱 손실을 최소화하는 분석 추정기를 사용한다.
• 효과적 희박성을 제한하기 위해 보간 행렬을 도입하여 빠른 속도 결과를 도출한다.
• 이론적 분석은 Dalalyan 등(2017)의 투영 추론 기반으로 영상 영역에서 경험 과정을 제어한다.
• 이 방법은 Ortelli 와 van de Geer(2019c)의 일차원 희박성 경계를 이중 차원으로 확장한다.
• 빠른 속도 및 느린 속도 모드에서 오라클 부등식을 도출하였으며, 느린 속도는 Mammen 과 van de Geer(1997)의 결과와 일치한다.
• 이 프레임워크는 영상을 이산 격자로 간주하며, 총변동성을 이산 기울기의 ℓ¹-노름으로 모델링한다.

실험 결과

연구 질문

• RQ1 총변동성 정규화가 있는 이중 차원 영상 노이즈 제거에 대해 빠른 속도 오라클 부등식을 수립할 수 있는가?
• RQ2 보간 행렬을 사용하여 효과적 희박성을 2차원에서 어떻게 제한할 수 있으며, 이는 추정 속도 향상에 어떻게 기여하는가?
• RQ3 제안된 방법은 기존 문헌에서의 이론적 경계와 비교해 빠른 속도를 달성하거나 향상시키는가?
• RQ4 Dalalyan 등(2017)의 투영 기반 경험 과정 기법이 이중 차원 영상 노이즈 제거로 어떻게 확장되는가?
• RQ5 유도된 느린 속도가 동일한 설정에서 Mammen 과 van de Geer(1997)가 확립한 알려진 속도와 얼마나 유사한가?

주요 결과

• 논문은 보간 행렬을 활용하여 효과적 희박성을 제어함으로써 이중 차원에서 총변동성 정규화된 영상 노이즈 제거에 대해 빠른 속도 오라클 부등식을 수립하였다.
• 유도된 빠른 속도는 Ortelli 와 van de Geer(2019c)의 일차원 경계를 이중 차원으로 확장한 결과이다.
• Mammen 과 van de Geer(1997)가 동일한 추정기에서 확립한 속도와 로그 인자(logarithmic factor)를 제외한 범위에서 일치하는 느린 속도 오라클 부등식이 도출되었다.
• 이론적 프레임워크는 경험 과정을 제어하기 위해 투영 추론 기반으로 설계되어 고차원 영상 추정에서의 안정성을 확보하였다.
• 결과적으로 총변동성 정규화가 주어진 모델 하에서 빠른 속도 및 느린 속도 모두에서 최적 또는 근접 최적의 속도를 달성함을 보여주었다.