[논문 리뷰] Variational Autoencoding Neural Operators

Jacob H. Seidman, Georgios Kissas외 2명|arXiv (Cornell University)|2023. 02. 20.

Machine Learning in Materials Science인용 수 4

한 줄 요약

이 논문은 무한차원 공간에서 기능 데이터의 비지도 표현 학습과 생성 모델링을 가능하게 하는 새로운 프레임워크인 변분 오퍼레이터 인코딩 신경망(VANO)을 소개한다. 함수 공간에서 엄밀한 변분 목표를 정의함으로써 VANO는 입력 함수의 분리된 잠재 표현을 학습하고, 미분 가능한 오퍼레이터를 통해 재구성하며, 가우스 랜덤 필드, 케인-힐리아드 상분리, 실제 위성 간섭망원도 데이터에서 최신 기술 수준의 성능을 달성한다. 이는 일반화 능력과 이산화 불변성 향상으로 이어진다.

ABSTRACT

Unsupervised learning with functional data is an emerging paradigm of machine learning research with applications to computer vision, climate modeling and physical systems. A natural way of modeling functional data is by learning operators between infinite dimensional spaces, leading to discretization invariant representations that scale independently of the sample grid resolution. Here we present Variational Autoencoding Neural Operators (VANO), a general strategy for making a large class of operator learning architectures act as variational autoencoders. For this purpose, we provide a novel rigorous mathematical formulation of the variational objective in function spaces for training. VANO first maps an input function to a distribution over a latent space using a parametric encoder and then decodes a sample from the latent distribution to reconstruct the input, as in classic variational autoencoders. We test VANO with different model set-ups and architecture choices for a variety of benchmarks. We start from a simple Gaussian random field where we can analytically track what the model learns and progressively transition to more challenging benchmarks including modeling phase separation in Cahn-Hilliard systems and real world satellite data for measuring Earth surface deformation.

연구 동기 및 목표

• 기능 데이터에 대해 비지도 표현 학습과 생성 모델링을 수행할 수 있도록 오퍼레이터 학습 아키텍처를 일반화하는 방법을 개발하는 것.
• 기존 VAE가 기능 데이터에 대해 점별 학습 목표를 최적화할 때의 한계를 해결하는 것 — 특히 샘플링 밀도에 민감하고 기능 수준의 일반화 능력이 부족함.
• 무한차원 기능 공간에서 변분 목표의 엄밀한 수학적 공식화를 수립하여 연속된 필드에서 VAE를 훈련할 수 있도록 하는 것.
• 입력 이산화에 의존하지 않고도 임의의 공간 위치에서 기능 데이터의 잠재 공간 분리 및 재구성 기능을 제공하는 것.
• 합성 가우스 필드, 비선형 PDE, 실제 지구 관측 데이터를 포함한 다양한 벤치마크에서 프레임워크의 효과성을 입증하는 것.

제안 방법

• 기능 공간에서 커널 평균 임베딩과 일반화된 MMD(GMMD)를 사용하여 기능 상의 확률 측도를 비교하는 방식으로 기능 공간에 기반한 변분 목표를 제안한다.
• 입력 함수를 잠재 분포 $\mathbb{Q}^{\phi}_{z|u}$로 매핑하는 매개변수화된 인코더 $\mathcal{E}_{\phi}$와 샘플링된 잠재 변수로부터 입력을 재구성하는 디코더 $\mathcal{D}_{\theta}$를 사용한다.
• 신경 오퍼레이터 아키텍처(FNO 또는 U-Net 변종 등)를 인코더 및 디코더로 활용하여 임의의 공간 격자에서 이산화 불변 추론을 가능하게 한다.
• 실제 및 생성된 기능 데이터 간의 분포 유사도를 안정적으로 측정하기 위해 다양한 길이 척도 범위의 가우시안 커널 가중치를 사용한 GMMD를 적용한다.
• 재생산 기법을 활용한 역전파를 통해 엔드 투 엔드로 모델을 훈련하고, 확률적 경량 최적화를 위한 변분 하한(ELBO)을 최소화한다.
• 주기적 데이터(예: 간섭망원도 위상)의 경우, 각도 함수 생성 품질 평가를 위해 원형 분산 및 왜도 지표를 사용한다.

실험 결과

연구 질문

• RQ1 오퍼레이터 학습 아키텍처는 무한차원 기능 공간에서 기능 데이터의 비지도 표현 학습과 생성 모델링을 체계적으로 수행할 수 있는가?
• RQ2 연속된 필드에서가 아니라 점별 샘플에서 VAE를 훈련할 수 있도록 기능 공간에서 엄밀한 변분 목표를 어떻게 공식화할 수 있는가?
• RQ3 VANO는 기능 데이터의 점별 가능도를 최적화하는 기존 VAE보다 일반화 능력과 강건성 면에서 뛰어나게 되는가? 특히 샘플링 밀도가 다양할 경우에도 마찬가지인가?
• RQ4 VANO는 상분리 패턴이나 위성 간섭망원도와 같은 복잡한 기능 데이터의 분리된 의미 있는 잠재 표현을 학습할 수 있는가?
• RQ5 기능 생성 모델링에서 단일 커널 MMD에 비해 커널 가중치 집합을 사용한 GMMD의 활용이 분포 매칭 성능을 얼마나 향상시키는가?

주요 결과

• 2D 가우스 밀도 생성에서 VANO는 최신 기술 수준의 성능을 달성했으며, 모든 테스트 길이 척도에서 실제 데이터와 생성된 데이터 간의 분포 유사도를 나타내는 GMMD 값이 높았다.
• 256 × 256 해상도의 케인-힐리아드 시스템에서 VANO(nonlinear)는 훈련 파rameter 수 1,667,000개와 훈련 시간 1,660초를 요구했으며, 재구성 정밀도와 일반화 능력 면에서 베이스라인 VAE를 능가했다.
• InSAR 간섭망원도 데이터의 경우, VANO는 테스트 손실 0.0048을 기록했고, 파rameter 수 11.1백만 개로 실제 지구물리학적 데이터에서 복잡한 위상 패턴을 잘 처리하는 강력한 성능을 보였다.
• 모델은 간섭망원도 위상의 원형 성격을 성공적으로 포착했으며, 생성된 데이터는 낮은 원형 분산(0.08)과 왜도(0.12)를 보여, 각도 분포를 정확히 모델링했다.
• VANO의 잠재 공간 분리 능력은 보간 및 조건부 샘플링을 통해 검증되었으며, 잠재 차원을 따라 매끄럽고 물리적으로 타당한 기능 출력 전이가 가능했다.
• 길이 척도가 다양한 커널 가중치 집합($\sigma \in [0.1, 20]$)을 사용한 GMMD는 단일 커널 MMD에 비해 더 강건하고 안정적인 훈련을 가능하게 했으며, 고해상도 또는 희박한 샘플링 조건에서 종종 붕괴되는 단일 커널 MMD와는 대비된다.