[论文解读] Tools for Extracting Spatio-Temporal Patterns in Meteorological Image Sequences: From Feature Engineering to Attention-Based Neural Networks

Akansha Singh Bansal, Yoonjin Lee+2 more|arXiv (Cornell University)|Oct 22, 2022

Advanced Image Fusion Techniques被引用 13

一句话总结

本综述全面回顾了从传统特征工程到现代基于注意力机制的神经网络等工具在气象图像序列中提取时空模式的方法。它展示了3D卷积、LSTM-convolutions、自监督学习以及transformer等技术如何超越单图分析，提升对对流和太阳辐照度等动态天气现象的检测能力。

ABSTRACT

Atmospheric processes involve both space and time. This is why human analysis of atmospheric imagery can often extract more information from animated loops of image sequences than from individual images. Automating such an analysis requires the ability to identify spatio-temporal patterns in image sequences which is a very challenging task, because of the endless possibilities of patterns in both space and time. In this paper we review different concepts and techniques that are useful to extract spatio-temporal context specifically for meteorological applications. In this survey we first motivate the need for these approaches in meteorology using two applications, solar forecasting and detecting convection from satellite imagery. Then we provide an overview of many different concepts and techniques that are helpful for the interpretation of meteorological image sequences, such as (1) feature engineering methods to strengthen the desired signal in the input, using meteorological knowledge, classic image processing, harmonic analysis and topological data analysis (2) explain how different convolution filters (2D/3D/LSTM-convolution) can be utilized strategically in convolutional neural network architectures to find patterns in both space and time (3) discuss the powerful new concept of 'attention' in neural networks and the powerful abilities it brings to the interpretation of image sequences (4) briefly survey strategies from unsupervised, self-supervised and transfer learning to reduce the need for large labeled datasets. We hope that presenting an overview of these tools - many of which are underutilized - will help accelerate progress in this area.

研究动机与目标

• 解决从单幅图像难以检测到的复杂时空模式在气象图像序列中识别的挑战。
• 回顾并整合未被充分利用的数据科学工具——从特征工程到注意力机制——以改善对动态大气过程的解读。
• 突出自监督学习和迁移学习在减少气象机器学习中对大规模标注数据集依赖方面的潜力。
• 倡导将现代深度学习概念（如transformer和扩散模型）整合到气象图像序列分析中。
• 利用时间上下文和多变量信息，加速对对流和太阳辐照度等现象的自动化检测与预测。

提出的方法

• 结合气象学知识和图像处理技术，通过特征工程增强输入数据中的相关信号。
• 使用2D、3D及时空卷积滤波器（如3D-CNNs、LSTM-convolutions）捕捉图像序列中的空间与时间依赖性。
• 在神经网络中应用注意力机制，动态加权序列中重要的空间与时间区域。
• 通过训练模型从历史序列预测未来帧来实现自监督学习，从而在无标签数据上进行有效预训练。
• 通过使用预训练权重（如ImageNet）初始化模型并在气象数据上微调，实现迁移学习，以提升泛化能力。
• 整合多变量输入（如多个卫星通道或大气变量），以丰富时空上下文，提升模式识别性能。

实验结果

研究问题

• RQ1 基于气象学知识的特征工程在提升卫星和雷达图像中时空模式检测方面有何作用？
• RQ2 3D和LSTM-convolutional网络在建模天气系统时间演变方面，相较于2D网络在多大程度上表现更优？
• RQ3 注意力机制在气象图像序列中建模长程时空依赖性方面有何增强效果？
• RQ4 自监督学习和迁移学习策略是否能显著减少对大规模人工标注气象数据集的需求？
• RQ5 新兴架构（如transformer和扩散模型）在推进气象图像序列自动化分析方面具有何种潜力？

主要发现

• 基于注意力机制的模型和transformer在捕捉气象图像序列中的长程时空依赖性方面展现出强大潜力，在复杂模式识别方面优于传统模型。
• 自监督学习框架（如从历史序列预测未来帧）可在大规模无标签数据上实现有效预训练，显著降低对标注数据的依赖。
• 使用预训练模型（如ImageNet）进行迁移学习，可通过利用学到的低级特征（如边缘和纹理）提升气象任务的性能。
• 多光谱和多变量输入通过提供不同大气状态和通道间的互补信息，显著提升模型性能。
• 3D卷积和时空架构（如3D-CNNs、LSTM-convolutions）能有效建模空间结构与时间演变，尤其适用于对流和降水发展等现象。
• 将谐波分析与拓扑数据分析整合到特征工程中，可增强信号表征，并提高模型对噪声和变异的鲁棒性。