[논문 리뷰] Learn from Unpaired Data for Image Restoration: A Variational Bayes Approach

Dihan Zheng, Xiaowen Zhang외 2명|arXiv (Cornell University)|2022. 04. 21.

Image and Signal Denoising Methods인용 수 4

한 줄 요약

이 논문은 쌍이 맞지 않는 청소화이미지와 손상된 이미지에서 공유 잠재 표현을 통해 청소 및 노이즈 데이터를 조건부로 독립적으로 모델링함으로써 쌍이 맞지 않는 청소 및 손상된 이미지에서 공동 이미지 복원 분포를 학습하는 변분 베이즈 방법인 LUD-VAE를 제안한다. 이 방법은 쌍이 맞지 않는 데이터에서 유도된 합성 쌍 데이터를 사용하여 효과적인 이미지 복원 모델을 훈련시킬 수 있게 하여, 쌍이 맞는 지도 학습을 요구하지 않고도 노이즈 제거, 초해상도 복원, 저조도 강화에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Collecting paired training data is difficult in practice, but the unpaired samples broadly exist. Current approaches aim at generating synthesized training data from unpaired samples by exploring the relationship between the corrupted and clean data. This work proposes LUD-VAE, a deep generative method to learn the joint probability density function from data sampled from marginal distributions. Our approach is based on a carefully designed probabilistic graphical model in which the clean and corrupted data domains are conditionally independent. Using variational inference, we maximize the evidence lower bound (ELBO) to estimate the joint probability density function. Furthermore, we show that the ELBO is computable without paired samples under the inference invariant assumption. This property provides the mathematical rationale of our approach in the unpaired setting. Finally, we apply our method to real-world image denoising, super-resolution, and low-light image enhancement tasks and train the models using the synthetic data generated by the LUD-VAE. Experimental results validate the advantages of our method over other approaches.

연구 동기 및 목표

• 실제 이미지 복원에서 쌍이 맞는 훈련 데이터가 부족한 문제를 해결하기 위해, 쌍이 맞는 청소-손상 이미지 쌍을 수집하는 것이 비용이 많이 들고 비현실적이므로 이를 해결하고자 한다.
• 쌍이 맞지 않는 근원 데이터에서 청소 및 손상된 이미지의 공동 분포를 학습하는 딥 생성 모델을 개발하고자 한다.
• 사이클 일致성과 같은 히우리스틱 제약 조건을 피하는 이론적으로 타당한 비쌍 데이터 기반 이미지 복원 방법을 수립하고자 한다.
• 확률적 그래픽 모델과 추론 불변성 조건을 활용하여 쌍이 맞지 않는 데이터에서 유도된 합성 쌍 데이터를 사용하여 효과적인 이미지 복원 모델을 훈련시킬 수 있도록 하고자 한다.
• 추론 불변성 가정 하에 증거 하한 경계(ELBO)가 쌍이 맞는 샘플 없이도 계산 가능하다는 것을 보여주며, 이는 쌍이 맞지 않는 데이터에서 엔드 투 엔드 훈련을 가능하게 한다.

제안 방법

• 청소 이미지 $\mathbf{x}$ 와 손상된 이미지 $\mathbf{y}$ 가 공유 잠재 변수 $\mathbf{z}$ 를 조건으로 서로 조건부로 독립이 되도록 하는 확률적 그래픽 모델을 사용하며, $\mathbf{z}$ 는 이미지의 내용을, $\mathbf{z}_n$ 은 오염 노이즈를 각각 인코딩한다.
• 청소 및 손상된 이미지 각각에 대해 별도의 인코더를 갖는 변분 auto-encoder (VAE) 프레임워크를 사용하며, 공유된 디코더를 통해 $\mathbf{z}$ 로부터 $\mathbf{x}$ 를 재구성함으로써 쌍이 맞는 데이터 간에 일관된 잠재 표현을 보장한다.
• 잠재 변수 $\mathbf{z}$ 에 대해 추론 불변 조건을 도입하며, 이는 쌍이 맞는 $\mathbf{x}$ 와 $\mathbf{y}$ 에 대해 사후 분포 $q(\mathbf{z}|\mathbf{x})$ 와 $q(\mathbf{z}|\mathbf{y})$ 가 근사적으로 동일하게 유지되도록 요구한다. 이 조건은 쌍이 맞지 않는 데이터에서 ELBO를 계산할 수 있도록 한다.
• ELBO 가 유도되며, 추론 불변성 가정 하에 쌍이 맞는 샘플 없이도 계산 가능하다는 것이 입증되어, 쌍이 맞지 않는 데이터에서의 훈련을 위한 수학적으로 엄밀한 기반을 제공한다.
• 학습된 공동 분포 $p(\mathbf{x}, \mathbf{y})$ 에서 샘플링을 통해 합성 쌍 데이터를 생성하며, 이를 표준 지도 학습 기반 이미지 복원 네트워크의 훈련에 사용한다.
• 노이즈 $\mathbf{n}_x$ 와 $\mathbf{n}_y$ 가 각각 입력 $\mathbf{x}$ 와 $\mathbf{y}$ 와 독립이라고 가정하며, $q(\mathbf{z}|\mathbf{x}) = \mathbb{E}_{p(\mathbf{n}_x)}[q(\mathbf{z}|\mathbf{x} + \mathbf{n}_x)]$ 라는 식을 유도함으로써 노이즈 편향에 대한 강건한 추론이 가능하다.

실험 결과

연구 질문

• RQ1 딥 생성 모델은 변분 추론을 사용하여 쌍이 맞지 않는 데이터에서 청소 및 손상된 이미지의 공동 분포를 학습할 수 있는가?
• RQ2 공유 잠재 공간에 대한 추론 불변 조건은 쌍이 맞는 데이터 없이도 ELBO 최적화를 가능하게 하는가?
• RQ3 모델이 생성한 합성 쌍 데이터는 하류 이미지 복원 네트워크의 훈련을 얼마나 잘 지원하는가?
• RQ4 추론 불변성 가정 하에 쌍이 맞지 않는 데이터에서 ELBO를 계산할 수 있는 이론적 근거는 무엇인가?
• RQ5 이 방법은 탈가우시안 노이즈 분포를 모델링하는 데서 GAN 기반 접근법과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 LUD-VAE 방법은 쌍이 맞지 않는 청소 및 손상된 이미지만으로도 효과적인 이미지 복원 모델 훈련이 가능하게 하여, 쌍이 맞는 데이터 수집이 필요 없어진다.
• 추론 불변 조건은 쌍이 맞는 데이터에서 사후 분포 $q(\mathbf{z}|\mathbf{x})$ 와 $q(\mathbf{z}|\mathbf{y})$ 가 근사적으로 동일하게 유지되도록 하며, 이는 쌍이 맞지 않는 샘플에서 ELBO 계산이 가능하게 한다.
• 이론적 분석 결과, 노이즈 분산 $\sigma_{\mathbf{x}}, \sigma_{\mathbf{y}} \to \infty$ 이면서 $\sigma_{\mathbf{x}}/\sigma_{\mathbf{y}} \to 1$ 일 때 $\|q(\mathbf{z}|\mathbf{x}) - q(\mathbf{z}|\mathbf{y})\|_1$ 이 0에 수렴함을 보여주며, 이는 추론 불변성 가정이 극한에서 타당함을 검증한다.
• 모델이 생성한 합성 노이즈 분포는 DeFlow와 같은 이전 GAN 기반 방법보다 실제 노이즈와 더 잘 일치함을 확인하였으며, AIM2019 데이터셋 패치에서의 정성적 비교 결과로 이를 입증하였다.
• 실험 결과, 노이즈 제거, 초해상도 복원, 저조도 이미지 강화에서 기존의 비쌍 학습 기반 베이스라인에 비해 뚜렷한 성능 향상을 보였다.
• 복잡하고 비정규 분포를 띠는 노이즈 조건에서도 경쟁력 있는 성능을 달성하여, 실제 노이즈 특성에 대해 강건함을 입증하였다.