[論文レビュー] Super-resolution GANs of randomly-seeded fields

Alejandro Güemes, Carlos Sanmiguel Vila+1 more|arXiv (Cornell University)|Feb 23, 2022

Advanced Image Processing Techniques被引用数 5

ひとこと要約

本稿では、完全なフィールドの高分解能トレーニングデータを必要とせずに、ランダムに配置された希なセンサー測定値から高分解能フィールドデータを再構築する、RaSeedGANと呼ばれる超解像GANフレームワークを提案する。ランダムなサンプリングパターンと条件付きGANアーキテクチャを活用することで、流体の流れ、海洋水温、乱流境界層データでさえも、高スパarsity（最大90％のギャップ）およびノイズ下でも最先端の性能を達成する。

ABSTRACT

Reconstruction of field quantities from sparse measurements is a problem arising in a broad spectrum of applications. This task is particularly challenging when the mapping between sparse measurements and field quantities is performed in an unsupervised manner. Further complexity is added for moving sensors and/or random on-off status. Under such conditions, the most straightforward solution is to interpolate the scattered data onto a regular grid. However, the spatial resolution achieved with this approach is ultimately limited by the mean spacing between the sparse measurements. In this work, we propose a super-resolution generative adversarial network (GAN) framework to estimate field quantities from random sparse sensors without needing any full-field high-resolution training. The algorithm exploits random sampling to provide incomplete views of the {high-resolution} underlying distributions. It is hereby referred to as RAndomly-SEEDed super-resolution GAN (RaSeedGAN). The proposed technique is tested on synthetic databases of fluid flow simulations, ocean surface temperature distributions measurements, and particle image velocimetry data of a zero-pressure-gradient turbulent boundary layer. The results show excellent performance even in cases with high sparsity or with levels of noise. To our knowledge, this is the first GAN algorithm for full-field high-resolution estimation from randomly-seeded fields with no need of full-field high-resolution representations.

研究の動機と目的

• 完全なフィールドの高分解能トレーニングデータが入手不可である状況下で、希でランダムに配置されたセンサー測定値から高分解能フィールド量を再構築する課題に対処すること。
• 線形マッピングに依存し、高いサンプル数や滑らかさの仮定を必要とする、Gappy-POD や圧縮センシングといった従来手法の限界を克服すること。
• 低分解能のボーリングデータと希な高分解能観測値から、複雑な非線形マッピングを学習可能なディープラーニングフレームワークを開発すること。
• 高分解能データ収集が現実的でない、海洋学、気象学、流体力学などの実世界のシナリオへの実用的応用を可能にすること。
• 乱流や人工衛星由来の水温フィールドを含む、多様な物理的システムにおいて、高スパarsity、ノイズ、非線形性に対して強健であることを示すこと。

提案手法

• 低分解能のボーリングフィールドと希な高分解能観測値を入力およびターゲットとして、低分解能入力と希なセンサー情報に条件付けられた生成的敵対ネットワーク（cGAN）を訓練する。
• 生成器ネットワークを用いて、低分解能入力と希なセンサー情報に条件付けられた高分解能フィールドを合成し、識別器が本物のフィールドと生成されたフィールドを区別する。
• 複数のトレーニングサンプルにわたるランダムなサンプリングパターンを活用して、潜在的な高分解能分布の不完全なビューをシミュレートし、未観測の希な構成に一般化できるようにする。
• 高分解能フィールドを低分解能グリッド（例：32×32ピクセル）にボーリングし、元のフィールドから希な点をサンプリングしてセンサー情報をシミュレートすることで、トレーニングデータを構築する。
• アップサンプリング要因を2、4、8として設定し、スパarsityおよびギャップ率（最大90％）の異なるレベルでの性能を評価する。
• 細かいスケールの特徴をスーパーリソリューション中に保持するために、[27]に基づく修正アーキテクチャを用い、残差ブロックとスキップ接続を導入する。

実験結果

リサーチクエスチョン

• RQ1 完全なフィールドの高分解能トレーニングデータを必要とせずに、希でランダムに配置されたセンサー測定値から高分解能フィールドを再構築できるか。
• RQ2 本手法は、高スパarsity（例：85–90％のギャップ率）およびノイズのある測定値に対しても、どの程度一般化できるか。
• RQ3 RaSeedGANは、線形法や辞書ベース手法と比較して、乱流や地球物理的システムにおける複雑な非線形ダイナミクスをどの程度正確に捉えることができるか。
• RQ4 トレーニングサンプルにおけるランダムなサンプリングパターンが、未観測のセンサー構成への一般化を向上させるか。
• RQ5 本フレームワークは、人工衛星の海面水温データや実験的PIVデータといった実世界のデータセットに効果的に応用可能か。

主な発見

• RaSeedGANは、最大90％のギャップ率に達する希でランダムに配置されたセンサーからの高分解能フィールドを、ベースライン手法と比較して優れた性能で再構築できた。
• 流体のピンバルビーおよび乱流チャネル流れのシミュレーションでは、アップサンプリング要因8、ギャップ率85％の条件下でも、ピークサイナリオノイズレシオ（PSNR）が22.1 dBに達した。
• NOAAの海面水温データセットでは、アップサンプリング要因8、ギャップ率90％の条件下でもPSNRが20.3 dBを維持し、実世界のノイズと不規則なサンプリングに対して強健であることを示した。
• 零圧力勾配乱流境界層の実験的PIVデータセットでは、アップサンプリング要因4、ギャップ率61％の条件下でPSNRが19.8 dBに達し、実験データに対して優れた性能を示した。
• トレーニング時にセンサー位置をランダム化したことで、未観測のセンサー配置に対しても良好な一般化性能を示し、予測不可能なセンサー配置のシナリオへの展開が可能となった。
• 線形仮定が成立しない高ギャップ率および非線形領域では、Gappy-POD や圧縮センシングといった従来手法に比べ、本モデルが優れた性能を発揮した。