[논문 리뷰] CLEAR: Covariant LEAst-square Re-fitting with applications to image restoration

Charles‐Alban Deledalle, Nicolas Papadakis외 2명|arXiv (Cornell University)|2016. 06. 16.

Image and Signal Denoising Methods참고 문헌 42인용 수 26

한 줄 요약

이 논문은 복원된 신호를 잔차의 국소적 애핀 변환을 통해 재적합하는 새로운 프레임워크인 CLEAR(Covariant LEAst-square Re-fitting)를 소개한다. 이 방법은 시스템적 편향을 감소시키며, 원래 추정기의 자코비안을 유지함으로써 안정성과 강건성을 확보한다. 지원 또는 점프 위치에 대한 사전 지식이 필요로 하지 않으며, 전체 변분 모델인 총변위, 비국소 평균 등에 대해 높은 성능을 달성한다. 계산 비용은 원래 알고리즘의 2배에서 3배 수준으로 약간 증가한다.

ABSTRACT

In this paper, we propose a new framework to remove parts of the systematic errors affecting popular restoration algorithms, with a special focus for image processing tasks. Generalizing ideas that emerged for $\\ell_1$ regularization, we develop an approach re-fitting the results of standard methods towards the input data. Total variation regularizations and non-local means are special cases of interest. We identify important covariant information that should be preserved by the re-fitting method, and emphasize the importance of preserving the Jacobian (w.r.t. the observed signal) of the original estimator. Then, we provide an approach that has a "twicing" flavor and allows re-fitting the restored signal by adding back a local affine transformation of the residual term. We illustrate the benefits of our method on numerical simulations for image restoration tasks.

연구 동기 및 목표

• ℓ1 정규화 및 총변위와 같은 볼록 완화에 의해 유도되는 이미지 복원에서의 체계적 편향을 해결한다.
• 원래 데이터 쪽으로 복원된 신호를 향해 향상시키면서도, 사전 조건이 부여한 구조적 성질을 유지하는 재적합 방법을 개발한다.
• 비제로 계수 또는 점프 위치의 정확한 식별이 필요한 전통적 후처리 재적합 기법의 한계를 극복한다.
• 원래 추정기의 관측 신호에 대한 자코비안을 유지하는 공변성 보장으로 재적합 과정을 보장한다.
• 티코노프, 등방성 TV, 비국소 평균, BM3D, DDID 등 광범위한 변분 모델에 일반화된 재적합 접근법을 개발한다.

제안 방법

• 원래 복원된 신호에 잔차의 국소적 애핀 변환을 추가하는 재적합 기법을 제안하여, 원래 추정기의 민감도와 일致하도록 보장한다.
• 원래 정규화의 구조(예: 희박성 또는 총변위)를 유지하는 제약 조건이 있는 최소제곱 문제로 재적합을 수식화한다.
• 활성 부분미분의 집합에 대한 투영을 통해, 원리-이중 알고리즘을 사용하여 재적합 제약 조건을 암묵적으로 강제한다.
• 원래 추정기의 자코비안을 유지함으로써, 작은 변화에 대한 불변성을 확보하여 재적합의 안정성을 높인다.
• 원래 알고리즘의 해를 구하는 과정 동안 반복적으로 적용하여 공동 추정을 가능하게 하고 강건성을 향상시킨다.
• 원리-이중 알고리즘에서 투영이 원래 해의 활성 집합과 점차 일치함을 증명함으로써, 재적합이 올바른 해로 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 비제로 계수 또는 점프 위치의 명시적 식별이 필요 없이도 이미지 복원에서 편향을 감소시키는 재적합 방법을 설계할 수 있는가?
• RQ2 재적합 과정을 어떻게 공변성으로 만들 수 있는가? 즉, 원래 추정기의 입력 신호에 대한 자코비안을 유지할 수 있는가?
• RQ3 특히 불안정하거나 노이즈가 많은 상황에서, 제안된 CLEAR 프레임워크는 기존 후처리 재적합 기법보다 안정성과 정확도 면에서 뛰어나게 되는가?
• RQ4 이러한 재적합 접근법을 비볼록 또는 비연속 정규화를 포함한 다양한 변분 모델에 일반화할 수 있는가?
• RQ5 원래 복원 알고리즘 대비 CLEAR를 적용할 때의 계산 비용은 얼마나 되는가?

주요 결과

• CLEAR는 사전 조건이 부여한 구조적 성질을 유지하면서도 관측 데이터 쪽으로 복원된 신호를 재적합함으로써 복원 이미지의 편향을 감소시킨다.
• ℓ1−ℓ2 분석 모델의 경우 약 2배의 계산 비용 증가를 보이며, 등방성 TV나 비국소 평균과 같은 더 복잡한 모델의 경우 약 3배의 비용 증가를 보인다.
• 기존 후처리 재적합 기법과 달리, CLEAR는 해의 지원 또는 점프 위치 식별이 필요 없어 반복적 해법에서의 수치적 부정확성에 더 강건하다.
• 등방성 총변위의 경우, 경계 근처에서 진동을 악화시킬 수 있는 불변 재적합보다 CLEAR가 더 우수한 결과를 낸다.
• 원리-이중 알고리즘을 통해 재적합이 올바른 해로 수렴함을 증명하였으며, 이는 투영 연산자가 원래 해의 활성 집합과 점차 일치함을 보여준다.
• 수치 시뮬레이션 결과, CLEAR는 노이즈 제거 및 블러 복원 등 다양한 작업에서 PSNR 향상과 함께 빌드된 시각적 정확도 향상을 일관되게 달성함을 입증하였다.