[论文解读] Digital Typhoon: Long-term Satellite Image Dataset for the Spatio-Temporal Modeling of Tropical Cyclones

Asanobu Kitamoto, Jared Hwang+4 more|arXiv (Cornell University)|Nov 5, 2023

Tropical and Extratropical Cyclones Research被引用 5

一句话总结

本文介绍了Digital Typhoon数据集，这是一个长达40余年、同质化的西太平洋热带气旋红外卫星图像数据集，采用Lambert方位等积投影并进行了卫星间辐射校准，以实现一致的时空建模。该数据集支持深度学习模型在台风强度预测、再分析和分析任务中的基准测试，由于数据的复杂性和变异性，对当前最先进模型构成高度挑战。

ABSTRACT

This paper presents the official release of the Digital Typhoon dataset, the longest typhoon satellite image dataset for 40+ years aimed at benchmarking machine learning models for long-term spatio-temporal data. To build the dataset, we developed a workflow to create an infrared typhoon-centered image for cropping using Lambert azimuthal equal-area projection referring to the best track data. We also address data quality issues such as inter-satellite calibration to create a homogeneous dataset. To take advantage of the dataset, we organized machine learning tasks by the types and targets of inference, with other tasks for meteorological analysis, societal impact, and climate change. The benchmarking results on the analysis, forecasting, and reanalysis for the intensity suggest that the dataset is challenging for recent deep learning models, due to many choices that affect the performance of various models. This dataset reduces the barrier for machine learning researchers to meet large-scale real-world events called tropical cyclones and develop machine learning models that may contribute to advancing scientific knowledge on tropical cyclones as well as solving societal and sustainability issues such as disaster reduction and climate change. The dataset is publicly available at http://agora.ex.nii.ac.jp/digital-typhoon/dataset/ and https://github.com/kitamoto-lab/digital-typhoon/.

研究动机与目标

• 通过提供大规模、公开可用且经过良好处理的卫星图像数据集，降低机器学习研究人员研究热带气旋的门槛。
• 解决数据质量问题，如卫星间校准和图像同质化，以确保模型训练与评估的一致性。
• 利用长期台风数据，支持包括强度预测、再分析和影响建模在内的多样化机器学习任务。
• 为评估真实世界台风事件中的深度学习模型，建立可复现且可维护的基准。
• 通过与气象规范和领域专业知识保持一致，促进机器学习在台风预测中的负责任使用。

提出的方法

• 基于日本气象厅（JMA）的最佳路径数据，使用Lambert方位等积投影，从红外卫星图像中裁剪出以台风为中心的图像，构建数据集。
• 开发了系统化的数据处理流程，确保跨多颗卫星和时间周期的图像同质性，包括减少辐射差异的卫星间校准。
• 数据集涵盖40余年的台风观测，数据更新至2022年季节，计划于2023年继续更新，存储于一个54GB的ZIP文件中。
• 数据集以CC BY许可公开发布，可通过DIAS、GitHub和Hugging Face等多个平台获取，附带相关代码和模型权重。
• 自1999年起持续维护长期数据处理流水线，确保数据集的长期可持续性与可复现性。
• 设计了强度预测、再分析和分析等基准任务，结果表明当前深度学习模型在该数据集上面临显著挑战。

实验结果

研究问题

• RQ1 如何系统性地构建一个长期、同质化的卫星图像数据集，以实现跨多颗卫星和数十年的热带气旋建模？
• RQ2 当在该长期、高质量数据集上进行训练时，当前的深度学习模型在台风时空建模方面面临多大程度的困难？
• RQ3 数据质量差异（如卫星间校准差异）如何影响模型在台风强度估计中的性能与可靠性？
• RQ4 利用长期红外卫星图像进行台风强度预测，最有效的机器学习方法是什么？
• RQ5 如何确保在台风预测中负责任地使用机器学习，特别是在公开发布预报存在法律与社会约束的背景下？

主要发现

• Digital Typhoon数据集涵盖超过40年的台风观测，数据更新至2022年季节，每年持续更新以包含最新季节的数据。
• 数据集通过标准化工作流程（包括以台风为中心的图像裁剪和卫星间校准）进行处理，生成了适合机器学习的同质化图像集合。
• 基准测试结果显示，近期的深度学习模型在该数据集上面临显著挑战，表明其复杂性以及作为严格基准的适用性。
• 数据集以CC BY许可在DIAS（DOI: 10.20783/DIAS.664）、GitHub和Hugging Face上公开提供，附带相关代码和模型权重。
• 自1999年起，该项目持续维护稳健的数据处理流水线，确保了数据集的长期可持续性与可复现性。
• 未来扩展可能包括面向第三代卫星的实时或高分辨率数据集，以提供独立的ZIP文件，提升用户灵活性。