[論文レビュー] Variational Autoencoding Neural Operators

Jacob H. Seidman, Georgios Kissas+2 more|arXiv (Cornell University)|Feb 20, 2023

Machine Learning in Materials Science被引用数 4

ひとこと要約

本論文は、変分オートエンコーダーと演算子学習アーキテクチャを統合した新規フレームワークである変分オートエンコーディングニューラルオペレーター（VANO）を紹介する。このフレームワークは、無限次元空間における関数データの教師なし表現学習および生成モデリングを可能にする。関数空間における厳密な変分目的関数を定式化することで、入力関数の分離可能で潜在的な表現を学習し、微分可能なオペレーターを介して再構築する。この手法は、ガウス型確率的場、カーンヒリャード相分離現象、および実際の衛星干渉縞データに対して最先端の性能を達成し、一般化性能とメesh離散化不変性の両方が向上している。

ABSTRACT

Unsupervised learning with functional data is an emerging paradigm of machine learning research with applications to computer vision, climate modeling and physical systems. A natural way of modeling functional data is by learning operators between infinite dimensional spaces, leading to discretization invariant representations that scale independently of the sample grid resolution. Here we present Variational Autoencoding Neural Operators (VANO), a general strategy for making a large class of operator learning architectures act as variational autoencoders. For this purpose, we provide a novel rigorous mathematical formulation of the variational objective in function spaces for training. VANO first maps an input function to a distribution over a latent space using a parametric encoder and then decodes a sample from the latent distribution to reconstruct the input, as in classic variational autoencoders. We test VANO with different model set-ups and architecture choices for a variety of benchmarks. We start from a simple Gaussian random field where we can analytically track what the model learns and progressively transition to more challenging benchmarks including modeling phase separation in Cahn-Hilliard systems and real world satellite data for measuring Earth surface deformation.

研究の動機と目的

• 関数データに対する教師なし表現学習および生成モデリングを実現するための汎用的手法の開発。
• 従来のVAEが関数データに適用する際の点ごとの学習目的関数の限界を解決すること。特に、サンプリング密度に敏感で、関数レベルでの一般化が乏しい点を改善する。
• 無限次元関数空間における変分目的関数の数学的厳密な定式化を確立し、連続場上でVAEを学習可能にする。
• 入力の離散化に依存しない、任意の空間位置における潜在空間の分離および関数データの再構築を可能にする。
• 合成ガウス場、非線形PDE、および実地球観測データを含む多様なベンチマークにおいて、フレームワークの有効性を実証する。

提案手法

• 関数空間における変分目的関数を、カーネル平均埋め込みと一般化MMD（GMMD）を用いて定式化し、関数上の確率測度を比較する。
• パラメトリックなエンコーダー $\mathcal{E}_{\phi}$ を用いて入力関数を潜在分布 $\mathbb{Q}^{\phi}_{z|u}$ に写像し、デコーダー $\mathcal{D}_{\theta}$ を用いてサンプリングされた潜在変数から入力を再構築する。
• エンコーダーおよびデコーダーにニューラルオペレーター（例：FNOまたはU-Netの変種）を採用し、任意の空間グリッド上で離散化不変な推論を可能にする。
• 複数の長さスケールにわたるガウスカーネルの族を用いてGMMDを適用し、実際の関数データと生成された関数データの分布類似度を安定して測定する。
• 再パラメトリゼーショントリックを用いた確率的勾配最適化を可能にするバックプロパゲーションにより、エンドツーエンドでモデルを学習し、変分下界（ELBO）を最小化する。
• 周期的データ（例：干渉位相）における関数生成品質の評価に、円形分散および歪度の指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 演算子学習アーキテクチャは、無限次元関数空間における関数データの教師なし表現学習および生成モデリングを体系的に行うことができるか？
• RQ2 連続場上でVAEを学習可能にするために、関数空間における厳密な変分目的関数をどのように定式化できるか？
• RQ3 VANOは、点ごとの尤度を最適化する従来のVAEと比較して、特にサンプリング密度の変動にさらされても、より優れた一般化性能と頑健性を示すか？
• RQ4 VANOは、相分離パターンや衛星干渉縞のような複雑な関数データの、分離可能で意味のある潜在表現を学習できるか？
• RQ5 関数生成モデリングにおいて、単一カーネルMMDと比較して、カーネル族を用いたGMMDの使用は、分布マッチングの質をどの程度向上させるか？

主な発見

• 2次元ガウス密度生成タスクにおいて、VANOは最先端の性能を達成し、全長さスケールで実データと生成データの間の分布類似度（GMMD）が高く、類似性が確認された。
• 256 × 256解像度のカーンヒリャード系では、VANO（非線形）は1,667,000パラメータと1,660秒の学習時間を要し、再構築精度と一般化性能においてベースラインVAEを上回った。
• 干渉縞データ（InSAR）では、テスト損失が0.0048、パラメータ数は1110万と高く、複雑な位相パターンを示す実地球物理データに対しても優れた性能を示した。
• 干渉位相の円形性を的確に捉えており、生成データの円形分散（0.08）と歪度（0.12）が低く、角分布の正確なモデリングが確認された。
• 潜在空間の分離性は、補間および条件付きサンプリングにより検証され、潜在次元に沿った滑らかで物理的に妥当な関数出力の遷移が得られた。
• 長さスケール $\sigma \in [0.1, 20]$ のカーネル族を用いたGMMDの導入により、単一カーネルMMDと比較して、より安定で頑健な学習が可能になった。特に高解像度またはスパースなサンプリング条件下でも、学習の崩壊が顕著に抑制された。