[논문 리뷰] Regularising Inverse Problems with Generative Machine Learning Models

Margaret Duff, Neill D. F. Campbell외 1명|arXiv (Cornell University)|2021. 07. 22.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 사전에 훈련된 생성 모델(예: 오토인코더, VAE, GAN)이 학습한 다양체 근처에 있는 해를 암시적으로 제약하는 생성 정규화 기법을 제안한다. 이는 데이터 기반 사전 지식을 활용하여 이미지 복원 품질을 향상시킨다. 주요 발견은 생성 모델의 범위에서 약간의 이탈을 허용할 경우, 특히 복잡한 데이터에서 엄격한 준수보다 더 일관되고 고해상도의 복원 결과를 얻을 수 있다는 점이다.

ABSTRACT

Deep neural network approaches to inverse imaging problems have produced impressive results in the last few years. In this paper, we consider the use of generative models in a variational regularisation approach to inverse problems. The considered regularisers penalise images that are far from the range of a generative model that has learned to produce images similar to a training dataset. We name this family extit{generative regularisers}. The success of generative regularisers depends on the quality of the generative model and so we propose a set of desired criteria to assess generative models and guide future research. In our numerical experiments, we evaluate three common generative models, autoencoders, variational autoencoders and generative adversarial networks, against our desired criteria. We also test three different generative regularisers on the inverse problems of deblurring, deconvolution, and tomography. We show that restricting solutions of the inverse problem to lie exactly in the range of a generative model can give good results but that allowing small deviations from the range of the generator produces more consistent results.

연구 동기 및 목표

• 생성 기계학습 모델을 사전 지식으로 사용하여 데이터 기반 정규화 프레임워크를 개발하는 것.
• 오토인코더, VAE, GAN 등 다양한 생성 모델이 역문제에 적합한지 평가하는 것.
• 역문제 맥락에서 고품질의 생성 모델을 선별하고 평가하기 위한 기준을 규명하고 평가하는 것.
• 생성 모델의 범위에 엄격히 강제하는 것과 허용 가능한 이탈을 허용하는 유연한 정규화 전략을 비교하는 것.
• 다양한 역문제—이면, 분산, 단층촬영—에 대한 본 방법의 효과성을 입증하는 것.

제안 방법

• 생성 모델 G: Z → X 를 사용하여 G의 범위에서 멀리 떨어진 해 x를 벌어지게 하는 정규화 기법을 정의한다.
• 세 가지 정규화 전략을 평가한다: (1) 생성 모델의 범위에 정확히 포함되도록 강제하는 것, (2) 잠복 공간 정규화를 통해 약간의 이탈을 허용하는 것, (3) 희소한 이탈을 허용하는 것.
• 최적화 문제를 하드 제약 케이스의 경우 min_z ||AG(z) - y||²₂ + λ||z||²₂ 로 수식화하며, 이는 이완 및 희소 이탈 전략에 대한 변형도 포함된다.
• 생성 모델은 역문제 프레임워크에 사용되기 전에 독립적으로 데이터셋에서 훈련되며, 이는 다양한 전방 연산자 및 노이즈 모델에 유연하게 적용 가능하게 한다.
• 쌍체 훈련 데이터가 필요 없도록 변분 정규화와 깊은 생성 사전 지식을 결합한다.
• 수치 실험은 이면, 분산, 단층촬영 작업에서 다양한 노이즈 수준에서 성능을 평가하기 위해 PSNR와 시각적 점검을 사용한다.

실험 결과

연구 질문

• RQ1 비지도 학습 방식으로 훈련된 생성 모델이 변분 역문제에서 효과적인 정규화 기법으로 기능할 수 있는가?
• RQ2 생성 정규화 기법의 성능은 생성 모델의 선택(예: AE, VAE, GAN)에 따라 어떻게 달라지는가?
• RQ3 생성 모델의 범위에 엄격히 제약을 두는 것과 그 범위에서 약간의 이탈을 허용하는 것 중 어느 것이 더 좋은 성능을 낼 수 있는가?
• RQ4 역문제 응용에 적합한 생성 모델의 선정 및 훈련을 위한 기준은 무엇이어야 하는가?
• RQ5 전통적 정규화 기법인 Tikhonov나 Total Variation에 비해 본 방법의 복원 품질과 내구성은 어떻게 비교되는가?

주요 결과

• 생성 모델의 범위에서 약간의 이탈을 허용하는 전략은 특히 복잡하거나 변동성이 큰 데이터셋에서 엄격한 제약보다 일관되게 뛰어난 성능을 보였다.
• AE와 VAE 모델이 가장 일관되고 높은 품질의 복원 결과를 생성했으며, GAN은 초기화에 민감하고 성능이 열악했다.
• 이완 정규화 전략은 이면 및 분산 작업에서 모든 노이즈 수준에서 평균 PSNR가 가장 높았으며, Tikhonov 정규화보다 분산이 더 적었다.
• 단층촬영 작업에서는 낮은 노이즈 수준에서 이완 전략이 가장 높은 PSNR를 기록했으며, 미세한 세부 정보를 더 효과적으로 포착했다.
• 하드 제약 전략은 노이즈 수준에 관계없이 일관된 결과를 보였지만, 노이즈 감소에 따라 성능 향상이 없었으며, 이는 적응성 부족을 시사했다.
• 본 연구는 역문제 응용에서 효과적인 생성 모델를 선정하기 위한 핵심 기준을 규명하였으며, 이는 다양성, 재구성 정밀도, 최적화 불안정성에 대한 저항성 등을 포함한다. 현재의 모델(특히 GAN)은 종종 이러한 기준을 충족하지 못한다.