[논문 리뷰] Bias-Reduction in Variational Regularization

Eva-Maria Brinkmann, Martin Burger외 2명|arXiv (Cornell University)|2016. 06. 16.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 3

한 줄 요약

이 논문은 Bregman 거리로 정의된 모델 다양체 위에서 첫 번째 정규화 단계에서 구한 부분미분을 사용하여 데이터 일치도를 최소화하는 방식으로 체계적 편향을 줄이는 이단계 추론 방법을 제안한다. 이 방법은 이론적으로 잘 정의되어 있으며 최적의 편향 감소를 달성하며 수치 실험에서 표준 방법을 능가하고 Bregman 반복 성능과 동등한 성능을 보인다.

ABSTRACT

The aim of this paper is to introduce and study a two-step debiasing method for variational regularization. After solving the standard variational problem, the key idea is to add a consecutive debiasing step minimizing the data fidelity on an appropriate set, the so-called model manifold. The latter is defined by Bregman distances or infimal convolutions thereof, using the (uniquely defined) subgradient appearing in the optimality condition of the variational method. For particular settings, such as anisotropic $\ell^1$ and TV-type regularization, previously used debiasing techniques are shown to be special cases. The proposed approach is however easily applicable to a wider range of regularizations. The two-step debiasing is shown to be well-defined and to optimally reduce bias in a certain setting. In addition to visual and PSNR-based evaluations, different notions of bias and variance decompositions are investigated in numerical studies. The improvements offered by the proposed scheme are demonstrated and its performance is shown to be comparable to optimal results obtained with Bregman iterations.

연구 동기 및 목표

• 총변화도나 ℓ¹-정규화에서의 피크 수축과 같은 변분 정규화 방법에서 잘 알려진 편향 문제를 해결하기 위해.
• 재적합(예: 지지집합 상에서의 재적합)과 Bregman 반복과 같은 기존의 추론 기법들을 하나의 일반적 프레임워크로 통합하기 위해.
• 첫 번째 변분 해에서 도출된 부분미분을 활용하여 후속 추론을 위한 모델 다양체를 정의하는 이중단계 접근 방식을 체계화하기 위해.
• 특정 조건 하에서 이론적으로 잘 정의되어 있고 최적의 편향 감소를 달성할 수 있도록 보장하기 위해.
• PSNR, 편향 분해, 분산 분석을 사용한 수치 실험을 통해 방법의 효과성을 입증하기 위해.

제안 방법

• 방법은 표준 변분 정규화로 시작한다: H(Au, f) + αJ(u)를 최소화하여 uα와 부분미분 pα ∈ ∂J(uα)를 도출한다.
• 두 번째 추론 단계는 pα ∈ ∂J(u) 조건을 만족하는 조건 하에서 데이터 일치도 H(Au, f)를 최소화하는 것으로, 즉 Bregman 거리 D_J^{pα}(u, uα) = 0 으로 정의된 모델 다양체 위에 있는 u를 고려한다.
• 모델 다양체는 일반화된 Bregman 거리 D_J^p(u, v) = J(u) − J(v) − ⟨p, u − v⟩로 정의되며, p ∈ ∂J(v) 이므로 첫 번째 단계의 부분미분과 일致한다.
• ℓ¹ 또는 TV와 같은 일차 동차 정규화자에 대해서는 이 방법이 알려진 추론 기법들(예: 부호 제약 조건이 있는 지지집합 상의 재적합)을 특수 케이스로 포함한다.
• 비미분 가능하고 엄밀히 볼록이 아닌 함수에 대해서는 Bregman 거리의 이중합성(infimal convolution)을 사용하여 재정의한다.
• 이론적 분석을 통해 이중단계 방법이 잘 정의되어 있으며 특정 설정에서 최적의 편향 감소를 달성함을 증명하였으며, 일부 경우에서 역 척도 공간과 Bregman 반복과 동치임을 보였다.

실험 결과

연구 질문

• RQ1 재적합, Bregman 반복, 역 척도 공간 방법과 같은 기존 접근 방식을 통합할 수 있는 일반적인 이중단계 추론 프레임워크를 개발할 수 있는가?
• RQ2 Bregman 거리로 정의된 모델 다양체를 어떻게 활용하여 변분 정규화에서 편향을 최적으로 감소시킬 수 있는가?
• RQ3 제안된 방법이 표준 정규화 및 Bregman 반복에 비해 얼마나 최적의 편향 감소를 달성하는가?
• RQ4 첫 번째 단계에서 도출된 부분미분과 두 번째 단계에서의 해 다양체의 구조 사이에는 어떤 관계가 있는가?
• RQ5 수치 실험에서 제안된 추론 기법 하에서 다양한 편향과 분산 분해는 어떻게 행동하는가?

주요 결과

• 이중단계 추론 방법은 볼록적이고 일차 동차 정규화 함수에 대해 잘 정의되어 있으며 이론적으로 타당하다.
• 특정 설정 하에서 최적의 편향 감소를 달성하며, Bregman 반복과 동일한 이론적 보장을 갖춘다.
• ℓ¹ 및 TV 유형 정규화에 대해서는 이 방법이 알려진 재적합 및 부호 제약 조건이 있는 추론 기법을 특수 케이스로 포함한다.
• 수치 결과에서는 PSNR와 시각적 품질 향상이 뚜렷하며, 편향 분해를 통한 분석으로 인해 방법적 편향 감소가 확인된다.
• 반복적 정밀 조정이 필요 없이도 Bregman 반복과 동등한 재구성 정확도와 편향 감소 성능을 보인다.
• 특정 조건 하에서 제안된 방법과 역 척도 공간 방법 간의 이론적 동치성이 확립되었으며, 특히 부분미분 유지 조건에서 뚜렷하다.