[论文解读] End-to-end learning of energy-based representations for irregularly-sampled signals and images

Ronan Fablet, Lucas Drumetz+1 more|arXiv (Cornell University)|Oct 1, 2019

Image and Signal Denoising Methods参考文献 22被引用 8

一句话总结

该论文提出了一种端到端的深度学习框架，联合学习不规则采样信号和图像的能量基表征与插值方案，使用神经网络同时建模自编码器和吉布斯能量先验。该方法在时间序列、图像和图像序列中即使在高缺失数据率下也能实现最先进水平的重建性能。

ABSTRACT

For numerous domains, including for instance earth observation, medical imaging, astrophysics,..., available image and signal datasets often involve irregular space-time sampling patterns and large missing data rates. These sampling properties may be critical to apply state-of-the-art learning-based (e.g., auto-encoders, CNNs,...), fully benefit from the available large-scale observations and reach breakthroughs in the reconstruction and identification of processes of interest. In this paper, we address the end-to-end learning of representations of signals, images and image sequences from irregularly-sampled data, i.e. when the training data involved missing data. From an analogy to Bayesian formulation, we consider energy-based representations. Two energy forms are investigated: one derived from auto-encoders and one relating to Gibbs priors. The learning stage of these energy-based representations (or priors) involve a joint interpolation issue, which amounts to solving an energy minimization problem under observation constraints. Using a neural-network-based implementation of the considered energy forms, we can state an end-to-end learning scheme from irregularly-sampled data. We demonstrate the relevance of the proposed representations for different case-studies: namely, multivariate time series, 2D images and image sequences.

研究动机与目标

• 解决从大量信号或图像缺失的不规则采样数据中学习有意义表征的挑战。
• 开发一种联合学习框架，同时优化能量基表征及其关联的插值方案。
• 将深度学习方法扩展至标准插值之外，学习可泛化于多种数据类型的数据特定先验。
• 在遥感和医学成像等采样本质上不规则且数据间隙常见的领域中，实现有效的表征学习。
• 在真实世界数据中高缺失数据率条件下，展示基于神经网络的能量模型（特别是自编码器和吉布斯能量形式）的有效性。

提出的方法

• 该方法将插值表述为在观测约束下的能量最小化问题，通过贝叶斯类比定义能量先验 $ U_\theta(X) $。
• 研究了两种能量形式：一种源自自编码器，另一种基于吉布斯先验，二者均由神经网络参数化。
• 学习过程涉及在观测子域 $ \Omega^{(i)} $ 上最小化重构误差，定义为 $ \widehat{\theta} = \arg\min_\theta \sum_i \|Y^{(i)} - \mathcal{I}(U_\theta, Y^{(i)}, \Omega^{(i)})\|^2_{\Omega^{(i)}} $。
• 插值算子 $ \mathcal{I} $ 通过神经网络实现，以求解能量最小化问题，从而支持端到端反向传播。
• 该框架采用固定点神经架构以实现高效推理，避免计算成本高昂的MCMC或基于梯度的求解器。
• 模型在不规则采样数据上进行端到端训练，通过单一优化循环同时学习能量先验和重构映射。

实验结果

研究问题

• RQ1 能否在无需完整参考训练数据的情况下，从不规则采样数据中有效学习能量基表征？
• RQ2 基于神经网络的自编码器和吉布斯能量先验在高缺失数据率下重建信号时表现如何比较？
• RQ3 能量先验与插值方案的端到端训练是否能提升重构精度，相比标准预训练模型？
• RQ4 所学习的能量先验在不同数据类型（如时间序列、图像和图像序列）之间泛化的程度如何？
• RQ5 所提出的框架是否能实现所学先验在重建之外下游任务中的即插即用？

主要发现

• 所提出的端到端学习框架在高缺失数据率下的多变量时间序列、2D图像和图像序列中实现了卓越的重构性能。
• 该方法成功地直接从不规则采样数据中学习了自编码器和吉布斯能量基表征，无需全参考训练数据。
• 基于神经网络的吉布斯能量先验，利用局部邻域结构，优于标准先验，在捕捉复杂空间模式方面表现更优。
• 固定点神经架构实现了高效推理，避免了MCMC或迭代优化的计算负担。
• 所学习的能量表征在未见数据上泛化良好，且可复用于重构之外的任务，表明其具备即插即用部署的潜力。
• 数值实验确认，即使高达80%的数据缺失，该框架依然稳健，展现出在极端稀疏条件下的强泛化能力。