[论文解读] Continuous Field Reconstruction from Sparse Observations with Implicit Neural Networks

Xihaier Luo, Wei Xu+3 more|arXiv (Cornell University)|Jan 21, 2024

Meteorological Phenomena and Simulations被引用 6

一句话总结

要点：论文提出 MMGN，一种隐式神经表示模型，利用上下文感知潜在代码和乘性 Gabor 基解码器，从稀疏观测中重构连续时空场，在气候和海表温度数据上优于其他 INR 基线。

ABSTRACT

Reliably reconstructing physical fields from sparse sensor data is a challenge that frequently arises in many scientific domains. In practice, the process generating the data often is not understood to sufficient accuracy. Therefore, there is a growing interest in using the deep neural network route to address the problem. This work presents a novel approach that learns a continuous representation of the physical field using implicit neural representations (INRs). Specifically, after factorizing spatiotemporal variability into spatial and temporal components using the separation of variables technique, the method learns relevant basis functions from sparsely sampled irregular data points to develop a continuous representation of the data. In experimental evaluations, the proposed model outperforms recent INR methods, offering superior reconstruction quality on simulation data from a state-of-the-art climate model and a second dataset that comprises ultra-high resolution satellite-based sea surface temperature fields.

研究动机与目标

• 将复杂物理场从稀疏传感数据中实现可靠重构作为动机。
• 通过针对稀疏性与非规则采样定制的隐式神经表示（INRs）开发连续场表示。
• 利用一个具上下文感知的潜在码来引导解码器重构时空场。
• 在气候和卫星数据集上展示相较于最先进 INR 基线的改进重构质量。

提出的方法

• 提出 MMGN，采用编码器–解码器架构，其中编码器从观测 U_t 生成时刻特定的潜在码 z_t，解码器 D_phi 使用 z_t 与空间坐标 x 预测 u(x,t)。
• 使用自解码器方案，通过梯度下降为稀疏观测拟合来优化每个时刻的潜在码 z_t。
• 在解码器中，应用基于 Gabor 的坐标变换 g(x) 和类似乘性滤波网络的乘性调制，将 x 与 z 融合。
• 引入具上下文感知的索引机制，用潜在码替代简单的时间 t，并由可用观测引导，使连续空间表示成为可能。
• 采用光谱特征灵感的 Gabor 滤波器，以减轻光谱偏差并实现连续场表示。
• 联合训练编码器与解码器，在训练时如自解码器公式所述对每个样本优化 z_t。

Figure 1: Field reconstruction from sparse observations: The Prior approach uses the time index ( $t$ ) as a reference to indicate a specific time instance. Our approach is context-aware, leveraging available context information by incorporating measurements at time $t$ .

实验结果

研究问题

• RQ1 基于上下文的潜在码是否能在稀疏、非规则观测条件下比时序索引的 INR 提供更优的连续场重构？
• RQ2 乘性 Gabor 基解码器是否比标准 INR 架构更好地捕捉物理场的高频与复杂结构？
• RQ3 相较于最先进的 INR 基线，MMGN 在气候模型温度场和高分辨率卫星海表温度数据上的表现如何？
• RQ4 在不同数据稀疏性与噪声水平的重构任务中，MMGN 的鲁棒性如何？

主要发现

• MMGN 在各任务和数据集上始终超越基线 INR 模型，在低采样率下，在仿真数据的相对误差降低幅度高达 78.94%，在卫星数据高达 37.51%。
• 使用乘性调制的基于 Gabor 的解码器在捕捉高频细节方面显著优于基于傅里叶或纯 MLP 的解码器。
• 上下文感知潜在码提供语义引导，尤其在数据稀疏或不规则时提升重构质量。
• MMGN 维持有利的效率–准确性权衡，相较于若干基线推理更快，同时达到更高准确度。
• 消融研究显示移除或替换 Gabor 滤波器会降低性能，证实所选解码器设计的重要性。

Figure 2: Architecture of the MMGN Model. The MMGN model employs auto-decoding to infer the latent variable ${\bm{z}}$ . Consequently, only the decoder is explicitly defined, and encoding takes place through stochastic optimization. More precisely, the latent code ${\bm{z}}=\arg\min_{{\bm{z}}}\mathc