[논문 리뷰] Conditional Simulation Using Diffusion Schrödinger Bridges

Yuyang Shi, Valentin De Bortoli외 2명|arXiv (Cornell University)|2022. 02. 27.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 조건부 확산 쇼링거 브리지(CDSB)라는 새로운 프레임워크를 소개한다. 이는 쇼링거 브리지 이론을 조건부 생성 모델링으로 확장하여, 역문제에서 더 빠르고 효율적인 샘플링을 가능하게 한다. 조건부 스코어 기반 생성 모델을 쇼링거 브리지 문제로 재정의함으로써, CDSB는 이미지 초해상도 복원, 베이지안 필터링, 사전 훈련된 모델의 개선 등 다양한 분야에서 표준 노이즈 제거 확산 모델보다 더 짧은 추론 시간으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Denoising diffusion models have recently emerged as a powerful class of generative models. They provide state-of-the-art results, not only for unconditional simulation, but also when used to solve conditional simulation problems arising in a wide range of inverse problems. A limitation of these models is that they are computationally intensive at generation time as they require simulating a diffusion process over a long time horizon. When performing unconditional simulation, a Schrödinger bridge formulation of generative modeling leads to a theoretically grounded algorithm shortening generation time which is complementary to other proposed acceleration techniques. We extend the Schrödinger bridge framework to conditional simulation. We demonstrate this novel methodology on various applications including image super-resolution, optimal filtering for state-space models and the refinement of pre-trained networks. Our code can be found at https://github.com/vdeborto/cdsb.

연구 동기 및 목표

• 스코어 기반 생성 모델(SGM)이 조건부 시뮬레이션, 특히 장시간의 역방향 확산 과정이 필요한 역문제에서 계산 효율성이 떨어지는 문제를 해결하기 위해.
• 이전에 무조건적 생성에 사용된 쇼링거 브리지 프레임워크를 조건부 설정으로 확장하여 더 빠르고 효율적인 샘플링을 가능하게 하기 위해.
• 신경망으로 추정한 스코어를 사용하여 조건부 쇼링거 브리지 해를 근사하는 원칙적인 반복 알고리즘(CDSB)을 개발하기 위해.
• 이 방법의 효과성을 다양한 응용 분야에서 입증하기 위해, 이미지 초해상도 복원, 상태공간 모델에서의 최적 필터링, 사전 훈련된 네트워크의 개선 등에 대해.
• 표준 스코어 기반 조건부 모델에 대한 이론적이고 실용적인 대안을 제공하여, 샘플 품질을 유지하면서도 생성 시간을 단축시키기 위해.

제안 방법

• 관측된 데이터 Y=y^obs에 조건부로, t=0에서 데이터 분포, t=T에서 기준 분포를 가지는 유한 시간 스토케스틱 과정을 정의하는 조건부 쇼링거 브리지(CSB) 수식을 제안한다.
• De Bortoli 등(2021)의 확산 SB 알고리즘을 조건부 설정으로 적응시켜, 반복 최적화를 사용하여 조건부 브리지 과정을 근사한다.
• 신경망을 사용하여 조건부 흐트러진 분포의 스코어 함수를 추정함으로써, 엔드 투 엔드 훈련과 추론을 가능하게 한다.
• 조건부 스코어 기반 생성 모델(CSGMs)에 이 방법을 통합하여, 학습된 스코어를 사용한 시간 역행 동역학을 통해 p(x|y^obs)에서 샘플링할 수 있도록 한다.
• 기준 측도의 분산을 사용하여 확산 시간 단계의 차원별 스케일링을 적용하여 안정성과 수렴성을 향상시킨다.
• 필터링 작업에서 기준 분포를 초기화하기 위해 EnKF를 사용하여 사후 평균과 분산을 추정함으로써, 혼돈 시스템에서의 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 쇼링거 브리지 프레임워크는 조건부 생성 모델링으로 성공적으로 확장되어 역문제에서의 샘플링 속도를 향상시킬 수 있는가?
• RQ2 제안된 CDSB 방법은 표준 조건부 스코어 기반 모델(CSGMs)에 비해 생성 속도와 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 CDSB는 혼돈 상태공간 모델에서의 이미지 초해상도 복원과 베이지안 필터링에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 필터링 작업에서 확산 과정 길이(N=20 대비 N=100)와 앙상블 크기(M)가 CDSB의 안정성과 정확도에 미치는 영향은 무엇인가?
• RQ5 사전 예측 분포에 맞게 조정된 데이터 적응형 기준 분포(p_ref)를 사용할 경우, 비정규 또는 고분산 시스템에서 성능 향상이 이루어지는가?

주요 결과

• 필터링 평균 추정에서 CDSB는 CSGM과 EnKF보다 낮은 RMSE를 기록했으며, M=2000 및 N=100일 때 최저 오차 0.331±0.006를 기록하여 CSGM-C와 EnKF를 모두 능가했다.
• 필터링 표준편차 추정에서 CDSB-C는 M=2000 및 N=100일 때 최저 RMSE 0.106±0.002를 기록했으며, CSGM-C와 EnKF를 크게 능가했다.
• N=100 및 M≥500일 경우 CDSB와 CDSB-C는 발산 없이 안정적인 성능을 보였고, M=200 및 긴 확산 단계를 사용한 CDSB는 반복 회귀에서 오차 누적로 인해 가끔 큰 오차를 보였다.
• 이미지 초해상도 복원에서 CDSB는 최신 기술 수준의 FID 점수를 달성하여 고차원 조건부 생성 작업에서의 효과성을 입증했다.
• 예측 분포에 맞게 조정된 데이터 적응형 기준 분포(p_ref)를 사용할 경우, 고정된 p_ref가 실패할 수 있는 혼돈 시스템(Lorenz-63)에서 성능 향상이 이루어졌다.
• CDSB는 장시간의 역방향 확산 과정을 피하기 때문에 표준 SGM보다 더 빠른 추론을 가능하게 하며, 지식 정제나 최적화된 해법과 같은 기존 기법들과의 보완적인 가속화 방법을 제공한다.