[논문 리뷰] Physics-Informed Neural Network Super Resolution for Advection-Diffusion Models

Chulin Wang, Eloisa Bentivegna외 3명|arXiv (Cornell University)|2020. 11. 04.

Advanced Image Processing Techniques참고 문헌 19인용 수 24

한 줄 요약

이 논문은 훈련 중에 지배하는 편미분 방정식을 강제하여 저해상도 이동-확산 시뮬레이션의 해상도를 향상시키는 물리 기반 신경망 초해상도(PINNSR) 방법을 제안한다. 픽셀 기반 손실과 이동-확산 방정식에서 유도된 물리 일관성 손실을 조합함으로써 PINNSR은 40%의 픽셀이 손실된 상황에서도 표준 초해상도 및 이중선형 보간 방법보다 11% 높은 신호 대 잡음비와 뛰어난 재구성 정확도를 달성한다.

ABSTRACT

Physics-informed neural networks (NN) are an emerging technique to improve spatial resolution and enforce physical consistency of data from physics models or satellite observations. A super-resolution (SR) technique is explored to reconstruct high-resolution images ($4 imes$) from lower resolution images in an advection-diffusion model of atmospheric pollution plumes. SR performance is generally increased when the advection-diffusion equation constrains the NN in addition to conventional pixel-based constraints. The ability of SR techniques to also reconstruct missing data is investigated by randomly removing image pixels from the simulations and allowing the system to learn the content of missing data. Improvements in S/N of $11\%$ are demonstrated when physics equations are included in SR with $40\%$ pixel loss. Physics-informed NNs accurately reconstruct corrupted images and generate better results compared to the standard SR approaches.

연구 동기 및 목표

• 저해상도 또는 완전하지 않은 데이터에서 이동-확산 모델의 물리 일관성을 강제하는 초해상도 방법을 개발하기 위해.
• 표준 초해상도 방법이 다양한 왜곡 패턴을 가진 실세계 데이터에서는 실패하는, 합성적인 내림샘플링(예: 이중선형 보간)에 의존하는 한계를 해결하기 위해.
• 물리 법칙을 유지하면서 저해상도 시뮬레이션에서 대기 오염 확산 영역의 정확한 고해상도 재구성을 가능하게 하기 위해.
• 위성 관측에서 흔한 누락 픽셀을 복구하는 데 있어서의 강건성을 입증하기 위해.

제안 방법

• 이 방법은 인식 품질보다 고 PSNR를 우선시하기 위해 판별기 없이 잔차-내잔차 블록(RRDB) 기반의 깊은 신경망을 사용한다.
• 이동-확산 방정식의 잔차를 유한 차분을 통해 계산하는 $ R(C) $를 기반으로 한 물리 일관성 손실 $ \mathcal{L}_{\rm phys} = \|R(C_{\rm SR}) - R(C_{\rm HR})\|_1 $ 을 도입한다.
• 훈련 데이터는 동일한 초기 조건에서 고해상도 및 저해상도에서 이동-확산 방정식을 시뮬레이션하여 생성되며, 합성적인 내림샘플링을 방지한다.
• 총 손실는 픽셀 손실 $ \mathcal{L}_{\rm pix} $ 와 물리 일관성 손실 $ \mathcal{L}_{\rm phys} $ 의 가중합으로 구성되어 공동 최적화를 가능하게 한다.
• 위성 영상에서의 누락 데이터를 시뮬레이션하기 위해 훈련 중에 무작위 픽셀 드롭아웃을 적용한다.
• 재구성 품질과 물리 적합성 평가를 위해 PSNR, SSIM 및 $ \mathcal{L}_{\rm phys} $ 를 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 물리 기반 신경망이 표준 픽셀 기반 손실을 초월하여 이동-확산 모델의 초해상도 성능을 향상시킬 수 있는가?
• RQ2 픽셀이 손실된 상황에서 이동-확산 방정식을 제약 조건으로 통합할 경우 재구성 정확도에 어떤 영향을 미치는가?
• RQ3 직접 시뮬레이션된 저해상도-고해상도 쌍으로 훈련하는 것이 이중선형 보간으로 내림샘플링된 고해상도 데이터로 훈련하는 모델보다 우수한가?
• RQ4 물리 일관성 손실이 초해상도 출력의 물리적 타당성을 정량화할 수 있는가?
• RQ5 실세계 데이터 왜곡 패턴을 다룰 때 PINNSR이 이중선형 보간 및 표준 초해상도 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• 40%의 픽셀이 손실된 상황에서 PINNSR은 PSNR 82.12 dB를 달성하여 표준 초해상도 대비 11% 높은 신호 대 잡음비를 확보한다.
• 물리 일관성 손실 $ \mathcal{L}_{\rm phys} $ 는 1.5×10⁻⁷ 으로 감소하여 이동-확산 방정식에 강력한 준수를 보여준다.
• PINNSR은 픽셀 단위 오차를 잔차 지도에서 두 계단 감소시켜 이중선형 보간 및 표준 초해상도 방법을 압도한다.
• 이중선형 보간으로 내림샘플링된 고해상도 데이터로 훈련된 Dwn-HR 모델은 시뮬레이션된 저해상도 데이터에서는 성능이 열악하다(PSNR ~45), 이는 내림샘플링 커널의 반대를 학습하는 것이지 진정한 물리적 매핑을 학습하지 못하기 때문이다.
• PINNSR은 누락된 픽셀을 먼저 채우고 나서 초해상도를 적용하는 두 단계 접근법보다 더 우수한 일반화 능력을 보이며, 불완전한 데이터에서 직접 물리적 관계를 학습한다.
• 모든 테스트된 픽셀 드롭 비율에서 일관된 PSNR 및 $ \mathcal{L}_{\rm phys} $ 향상을 유지하여 데이터 손상에 대한 강건성을 확인한다.