[논문 리뷰] Super-resolution GANs of randomly-seeded fields

Alejandro Güemes, Carlos Sanmiguel Vila외 1명|arXiv (Cornell University)|2022. 02. 23.

Advanced Image Processing Techniques인용 수 5

한 줄 요약

이 논문은 전체 분야의 고해상도 훈련 데이터가 필요 없이, 무작위로 분포된 희박한 센서 측정치로부터 고해상도 필드 데이터를 복원하는 초해상도 GAN 프레임워크인 RaSeedGAN을 제안한다. 무작위 샘플링 패턴과 조건부 GAN 아키텍처를 활용하여, 유동장, 해양 수온, 난류 경계층 데이터 등에서 조건이 엄격한 경우(최대 90%의 갭 존재) 및 노이즈가 있는 상황에서도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Reconstruction of field quantities from sparse measurements is a problem arising in a broad spectrum of applications. This task is particularly challenging when the mapping between sparse measurements and field quantities is performed in an unsupervised manner. Further complexity is added for moving sensors and/or random on-off status. Under such conditions, the most straightforward solution is to interpolate the scattered data onto a regular grid. However, the spatial resolution achieved with this approach is ultimately limited by the mean spacing between the sparse measurements. In this work, we propose a super-resolution generative adversarial network (GAN) framework to estimate field quantities from random sparse sensors without needing any full-field high-resolution training. The algorithm exploits random sampling to provide incomplete views of the {high-resolution} underlying distributions. It is hereby referred to as RAndomly-SEEDed super-resolution GAN (RaSeedGAN). The proposed technique is tested on synthetic databases of fluid flow simulations, ocean surface temperature distributions measurements, and particle image velocimetry data of a zero-pressure-gradient turbulent boundary layer. The results show excellent performance even in cases with high sparsity or with levels of noise. To our knowledge, this is the first GAN algorithm for full-field high-resolution estimation from randomly-seeded fields with no need of full-field high-resolution representations.

연구 동기 및 목표

• 전체 분야의 고해상도 훈련 데이터가 없는 상황에서, 무작위로 위치한 희박한 센서 측정치로부터 고해상도 필드 양을 복원하는 문제에 대응한다.
• 선형 매핑에 의존하고 고밀도 샘플 수나 부드러움 가정을 필요로 하는 전통적 방법(예: Gappy-POD 및 압축 감지)의 한계를 극복한다.
• 저해상도 빈 데이터와 희박한 고해상도 관측치로부터 복잡한 비선형 매핑을 학습할 수 있는 딥러닝 프레임워크를 개발한다.
• 고해상도 데이터 수집이 불가능한 실세계 응용 분야(예: 해양학, 기상학, 유체역학)에 실용적으로 적용할 수 있도록 한다.
• 난류 흐름 및 위성 기반 수온 분포 등 다양한 물리계에서 높은 희박성, 노이즈, 비선형성에 대해 강건성을 입증한다.

제안 방법

• 저해상도 빈 필드와 희박한 고해상도 관측치를 입력으로, 목표로 하는 고해상도 필드를 출력으로 하는 조건부 생성적 적대적 네트워크(cGAN)를 훈련한다.
• 생성자 네트워크가 저해상도 입력과 희박한 센서 데이터를 조건으로 하여 고해상도 필드를 합성하고, 판별자는 실제 필드와 생성된 필드를 구분한다.
• 여러 훈련 샘플에 걸쳐 무작위로 샘플링 패턴을 적용하여 기저 고해상도 분포의 부분적인 시각을 모방함으로써, 미리 보지 못한 희박한 구성에 대한 일반화 능력을 향상시킨다.
• 고해상도 필드를 저해상도 격자(예: 32×32 픽셀)로 빈티드하여 훈련 데이터를 구성하고, 원본 필드에서 희박한 점들을 추출하여 센서 데이터를 시뮬레이션한다.
• 2배, 4배, 8배의 업샘플링 인자를 적용하여 다양한 희박성 수준과 갭 존재율(최대 90%)에서 성능을 평가한다.
• 자신의 아키텍처를 [27]의 수정형으로 사용하며, 잔차 블록과 스킵 연결을 통해 초해상도 과정에서 미세 구조 특징을 유지한다.

실험 결과

연구 질문

• RQ1 전체 분야의 고해상도 훈련 데이터가 없이도, GAN 기반 프레임워크가 희박하고 무작위로 분포된 센서 데이터로부터 고해상도 필드를 복원할 수 있는가?
• RQ2 제안된 방법은 높은 희박성(예: 85–90% 갭 존재율)과 노이즈가 있는 측정치에 대해 얼마나 잘 일반화되는가?
• RQ3 RaSeedGAN은 선형 또는 사전 기반 방법에 비해 난류 흐름과 지구물리학적 시스템에서 복잡한 비선형 역학을 얼마나 잘 포착할 수 있는가?
• RQ4 훈련 샘플 간의 무작위 센서 위치 패턴이 새로운 센서 구성에 대한 일반화 능력을 향상시키는가?
• RQ5 이 프레임워크는 위성 해양 수면 온도 및 실험적 PIV 데이터와 같은 실세계 데이터셋에 효과적으로 적용될 수 있는가?

주요 결과

• RaSeedGAN은 최대 90% 갭 존재율까지 희박하고 무작위로 배치된 센서로부터 고해상도 필드를 성공적으로 복원하여 기준 방법에 비해 뛰어난 성능을 달성한다.
• 유동 기반 핀볼 및 난류 채널 흐름 시뮬레이션에서, 업샘플링 인자가 8일 때 비록 85% 갭 존재율이지만 피크 신호 대 잡음비(PSNR)가 22.1 dB에 도달했다.
• NOAA 해양 수면 온도 데이터셋의 경우, 업샘플링 인자가 8일 때 PSNR가 20.3 dB를 유지하여 실제 노이즈와 비정규적인 샘플링에 대해 강건함을 입증했다.
• 압력 기울기가 0인 난류 경계층에 대한 실험적 PIV 데이터셋에서, 업샘플링 인자가 4일 때 PSNR가 19.8 dB에 도달했으며, 이는 실제 실험 데이터에 대한 뛰어난 성능을 보여준다.
• 훈련 시 센서 위치를 무작위화함으로써, 예측 불가능한 센서 배치 상황에서도 잘 일반화되어, 예측 불가능한 센서 배치 환경에서도 활용 가능하다.
• 선형 가정이 실패하는 고간극성 및 비선형 영역에서 기존의 Gappy-POD 및 압축 감지와 같은 전통적 방법보다 프레임워크가 뛰어난 성능을 보였다.