[논문 리뷰] Direct Diffusion Bridge using Data Consistency for Inverse Problems

Hyungjin Chung, Jeongsol Kim외 1명|arXiv (Cornell University)|2023. 05. 31.

Numerical methods in inverse problems인용 수 4

한 줄 요약

이 논문은 복원된 측정값과 일致하는 데이터 일致성을 강제하는 훈련 불필요 추론 방법인 데이터 일치 직접 확산 브리지(이하 CDDB)를 제안한다. 이는 역방향 샘플링 중에 기울기 단계를 삽입하여 확산 기반 역문제 해법기에서 데이터 일치성을 확보한다. 기존의 직접 확산 브리지(DDB) 방법을 통합하고 미세조정 없이 일치성 향상 메커니즘을 도입함으로써, CDDB는 이미지 초해상도 및 JPEG 복원을 포함한 다양한 역문제에서 인지적 성능과 왜곡 지표 모두에서 최신 기준 성능을 달성하며, 최적 복원 품질에 가까운 파레토 경계를 향해 이동시킨다.

ABSTRACT

Diffusion model-based inverse problem solvers have shown impressive performance, but are limited in speed, mostly as they require reverse diffusion sampling starting from noise. Several recent works have tried to alleviate this problem by building a diffusion process, directly bridging the clean and the corrupted for specific inverse problems. In this paper, we first unify these existing works under the name Direct Diffusion Bridges (DDB), showing that while motivated by different theories, the resulting algorithms only differ in the choice of parameters. Then, we highlight a critical limitation of the current DDB framework, namely that it does not ensure data consistency. To address this problem, we propose a modified inference procedure that imposes data consistency without the need for fine-tuning. We term the resulting method data Consistent DDB (CDDB), which outperforms its inconsistent counterpart in terms of both perception and distortion metrics, thereby effectively pushing the Pareto-frontier toward the optimum. Our proposed method achieves state-of-the-art results on both evaluation criteria, showcasing its superiority over existing methods. Code is available at https://github.com/HJ-harry/CDDB

연구 동기 및 목표

• 기존의 직접 확산 브리지(DDB) 방법에서 데이터 일치성의 근본적인 부족함을 규명하고 이를 해결하는 것.
• 스chrödinger 브리지, 연속적 열화, OU-SDE에 뿌리를 둔 다양한 DDB 접근법을 하나의 이론적 프레임워크로 통합하는 것.
• 재훈련 없이도 데이터 일치성을 강제하는 수정된 추론 절차를 개발하여 복원 정밀도와 인지적 품질을 향상시키는 것.
• 제안된 방법이 다양한 역영상 문제에서 기존의 DDB 및 확산 기반 해법기보다 뛰어난 성능을 보임을 입증하는 것.

제안 방법

• 시간 조건부 노이즈 제거기(노이즈 제거 모델)를 통해 오염된 측정값에서 청소년 이미지로 직접 매핑하는 통합된 DDB 프레임워크를 제안한다.
• 사전 훈련된 모델을 수정하지 않고도 역방향 샘플링 중 측정값을 향한 기울기 단계를 적용하여 데이터 일치성을 강제하는 훈련 불필요 추론 절차를 도입한다.
• DDS 및 DPS와 같은 기존의 확산 샘플링 방법을 일반화하여 CDDB를 도출함으로써, 이들의 원리를 DDB 설정으로 확장한다.
• 기존 샘플과 측정값 간의 거리 최소화를 위해 가우시안 우도 기반 정규화를 사용하는 일관된 샘플링 전략을 활용한다.
• 표준 기울기 계산이 불가능한 비선형 역문제(예: JPEG 복원)에 적용 가능한 깊은 기울기 근사를 사용하는 CDDB-deep를 제안한다.
• 청결한 데이터와 오염된 데이터의 볼록 조합을 사용하여 DDB의 전방 확산 과정을 정의함으로써 청결한 데이터에서 측정된 데이터로의 부드러운 열화를 보장한다.

실험 결과

연구 질문

• RQ1 모델의 재학습 또는 미세조정 없이도 직접 확산 브리지(DDB) 방법에서 데이터 일치성을 어떻게 강제할 수 있는가?
• RQ2 데이터 일치성을 강제할 경우, 확산 기반 역문제에서 인지적 품질과 복원 왜곡 간의 트레이드오���에서 얼마나 향상되는가?
• RQ3 제안된 방법은 선형 및 비선형 열화 모델을 포함한 다양한 역문제에 대해 일반화 가능한가?
• RQ4 FID 및 PSNR 지표 측면에서 CDDB의 성능은 기존 최신 기준 확산 기반 해법기와 비교해 어떻게 되는가?
• RQ5 기울기 계산이 직관적이지 않은 비정규 분포 또는 비선형 역문제(예: JPEG 복원)에 대해 CDDB 프레임워크를 어떻게 확장할 수 있는가?

주요 결과

• CDDB는 초해상도 4배 및 JPEG 복원을 포함한 다양한 역문제에서 FID 및 PSNR 지표 모두 최신 기준 성능을 달성한다.
• SR4x-bicubic 작업에서 CDDB는 기준 I2SB(DDB 방법) 대비 PSNR를 최대 0.5 dB 향상시키고 FID를 10% 이상 감소시켜 인지적 품질과 왜곡 간의 우월한 트레이드오후를 보여준다.
• I2SB는 특히 배경 영역에서 노이즈를 전파하는 경향이 있는 반면, CDDB는 복원에서 노이즈를 효과적으로 제거함으로써 더 높은 견고성을 보인다.
• 일치성 단계에 내장된 암묵적 가우시안 우도 모델 덕분에, CDDB는 노이즈 없는 데이터로 훈련된 후에도 강력한 노이즈 내성 특성을 보인다.
• CDDB-deep는 표준 기울기 기반 방법이 실패하는 비선형 역문제(예: JPEG 복원)에 효과적으로 적용할 수 있도록 깊은 기울기 근사를 활용한다.
• 복원 품질의 파레토 경계가 크게 최적 영역 쪽으로 이동하여, 모든 기준 대비 더 낮은 왜곡에서 더 높은 인지적 품질을 달성한다.