[논문 리뷰] Learning convex regularizers satisfying the variational source condition for inverse problems

Subhadip Mukherjee, Carola‐Bibiane Schönlieb외 1명|arXiv (Cornell University)|2021. 10. 24.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 적대적 훈련 중에 변분 소스 조건(VC)을 강제하여 역문제를 위한 볼록 정규화자를 학습하는 ACR-SC 방법을 제안한다. 손실에 VC 기반 페널티를 추가함으로써 진정한 이미지가 변분 에너지를 최소화하도록 보장하여, 엄밀한 O(δ) 수렴 속도 추정을 가능하게 하면서도 원래의 ACR 방법과 유사한 성능을 유지한다.

ABSTRACT

Variational regularization has remained one of the most successful approaches for reconstruction in imaging inverse problems for several decades. With the emergence and astonishing success of deep learning in recent years, a considerable amount of research has gone into data-driven modeling of the regularizer in the variational setting. Our work extends a recently proposed method, referred to as adversarial convex regularization (ACR), that seeks to learn data-driven convex regularizers via adversarial training in an attempt to combine the power of data with the classical convex regularization theory. Specifically, we leverage the variational source condition (SC) during training to enforce that the ground-truth images minimize the variational loss corresponding to the learned convex regularizer. This is achieved by adding an appropriate penalty term to the ACR training objective. The resulting regularizer (abbreviated as ACR-SC) performs on par with the ACR, but unlike ACR, comes with a quantitative convergence rate estimate.

연구 동기 및 목표

• 데이터 기반 딥 러닝과 전통적인 변분 정규화를 연결하기 위해 변분 소스 조건을 만족하는 볼록 정규화자를 학습하는 것.
• 순수 데이터 기반 접근에서 일반적으로 부재하는 역문제에서 학습된 정규화자의 이론적 수렴 속도 추정을 제공하는 것.
• 변분 분석에서 유래한 구조적 제약 조건을 통합하여 적대적 볼록 정규화(ACR)의 일반화 및 안정성을 향상시키는 것.
• 추가적인 Tikhonov 항이 필요 없도록 하면서도 높은 재구성 품질을 유지하는 것.

제안 방법

• 이 방법은 손실에 $ L_{\text{sc}}(\theta) $ 라는 페널티 항을 도입하여 진정한 이미지가 변분 소스 조건을 만족하도록 유도한다. 이는 $ \ell_{\text{sc}}(x;\theta) = \| (A^*)^{-1} \nabla_x \psi(x;\theta) \| $ 를 최소화하는 방식이다.
• 전반적인 훈련 목표는 데이터 재구성, 적대적 정규화, 기울기 페널티, 그리고 소스 조건 페널티를 조합한 것으로, $ L(\theta) = \frac{1}{n}\sum_i \psi_\theta(x_i) - \frac{1}{n}\sum_i \psi_\theta(z_i) + \lambda_{\text{gp}}L_{\text{gp}}(\theta) + \lambda_{\text{sc}}L_{\text{sc}}(\theta) $ 로 표현된다.
• 정규화자는 입력-볼록 신경망(ICNN)을 사용하여 모델링하여 볼록성을 보장하고 이론적 분석을 가능하게 한다.
• 소스 조건은 브레그만 거리(Bregman distance)를 통해 강제되며, 이는 해의 정(regularity)과 수렴 속도 추정 간의 연결 고리 역할을 한다.
• 학습된 정규화자를 사용한 변분 문제를 해결하기 위해 경사하강법을 사용하며, 안정성과 성능을 위해 하이퍼파rameter가 조정된다.

실험 결과

연구 질문

• RQ1 데이터 기반 볼록 정규화자 학습 중에 변분 소스 조건을 강제하여 이론적 수렴 보장을 확보할 수 있는가?
• RQ2 소스 조건을 강제하는 것은 기존의 적대적 볼록 정규화와 비교해 재구성 성능을 떨어뜨리는가?
• RQ3 학습된 볼록 정규화자가 노이즈 수준 δ가 0에 수렴할 때 O(δ) 수렴 속도를 달성할 수 있는가?
• RQ4 소스 조건 페널티의 포함이 학습된 정규화자의 일반화 및 안정성에 어떤 영향을 미치는가?

주요 결과

• ACR-SC는 Mayo-clinic CT 데이터에서 PSNR 31.28±0.50 dB, SSIM 0.84±0.01을 기록하여 ACR에 비해 略적으로 낮지만 더 강력한 이론적 보장을 제공한다.
• 브레그만 거리를 통한 O(δ) 수렴 속도 추정이 가능해지며, 이는 이전의 데이터 기반 접근에서 부재했던 핵심 이론적 기여이다.
• ACR-SC는 ACR(606,610)에 비해 더 적은 파라미터(590,928)를 사용하여 파라미터 효율성이 향상되었다.
• ACR-SC의 재구성 시간은 105,232.1±378.5 ms로 ACR의 109,952.4±497.8 ms와 유사하여 유의미한 계산 부담이 없음을 보였다.
• 노이즈 제거 작업에서는 브레그만 기반 최적화를 사용한 ACR-SC가 표준 경사하강법보다 더 높은 SSIM(0.86)과 더 나은 대trast 복구 성능을 보였다.
• ACR에 비해 성능 저하가 미미하여, 소스 조건을 강제하는 것이 재구성 품질을 심각하게 손상시키지 않는다는 것을 시사한다.