[论文解读] DengueNet: Dengue Prediction using Spatiotemporal Satellite Imagery for Resource-Limited Countries

Kuan-Ting Kuo, Dana Moukheiber+10 more|arXiv (Cornell University)|Jan 20, 2024

Mosquito-borne diseases and controlMedicine被引用 3

一句话总结

DengueNet 是一种新颖的深度学习模型，利用来自哨兵-2（Sentinel-2）的时空卫星图像，在资源有限的国家预测登革热疫情。通过结合视觉变换器（Vision Transformers）、基于放射组学的特征提取以及堆叠的长短期记忆网络（LSTM），该模型在哥伦比亚五个市政区实现了平均 43.92 ± 42.19 的平均绝对误差（MAE），证明了卫星数据在低收入环境中实现可扩展、公平的登革热预测的可行性。

ABSTRACT

Dengue fever presents a substantial challenge in developing countries where sanitation infrastructure is inadequate. The absence of comprehensive healthcare systems exacerbates the severity of dengue infections, potentially leading to life-threatening circumstances. Rapid response to dengue outbreaks is also challenging due to limited information exchange and integration. While timely dengue outbreak forecasts have the potential to prevent such outbreaks, the majority of dengue prediction studies have predominantly relied on data that impose significant burdens on individual countries for collection. In this study, our aim is to improve health equity in resource-constrained countries by exploring the effectiveness of high-resolution satellite imagery as a nontraditional and readily accessible data source. By leveraging the wealth of publicly available and easily obtainable satellite imagery, we present a scalable satellite extraction framework based on Sentinel Hub, a cloud-based computing platform. Furthermore, we introduce DengueNet, an innovative architecture that combines Vision Transformer, Radiomics, and Long Short-term Memory to extract and integrate spatiotemporal features from satellite images. This enables dengue predictions on an epi-week basis. To evaluate the effectiveness of our proposed method, we conducted experiments on five municipalities in Colombia. We utilized a dataset comprising 780 high-resolution Sentinel-2 satellite images for training and evaluation. The performance of DengueNet was assessed using the mean absolute error (MAE) metric. Across the five municipalities, DengueNet achieved an average MAE of 43.92. Our findings strongly support the efficacy of satellite imagery as a valuable resource for dengue prediction, particularly in informing public health policies within countries where manually collected data is scarce and dengue virus prevalence is severe.

研究动机与目标

• 通过利用公开的卫星图像，解决低收入和中等收入国家（LMICs）在获取高质量流行病学数据方面的挑战。
• 开发一种可扩展的、低资源的卫星数据提取与处理框架，用于流行病学预测。
• 通过实现无需依赖昂贵或不一致的实地收集数据的早期登革热疫情预测，促进健康公平。
• 评估结合视觉变换器与放射组学的混合模型在从卫星图像中提取时空特征方面的有效性。
• 证明基于卫星的预测方法可达到与仅使用病例数据模型相当的性能，从而支持早期公共卫生干预。

提出的方法

• 使用 Sentinel Hub 的云平台对哨兵-2（Sentinel-2）卫星图像应用去云与去阴影（CSR）预处理流程，以实现可扩展的数据访问。
• 通过皮尔逊相关系数进行波段选择，以减少冗余并保留具有信息量的光谱波段（如 RGB、SWIR）。
• 采用两种并行的特征提取器：基于自注意力机制的空间特征学习使用视觉变换器（ViT），放射组学流程用于手工提取的纹理与强度特征。
• 将两个分支提取的特征拼接后输入堆叠的长短期记忆网络（LSTM），以建模每周卫星图像中的时间依赖性。
• 模型采用端到端方式训练，使用平均绝对误差（MAE）作为损失函数，预测每周登革热病例数。
• 卫星数据提取流程的 Docker 化版本确保了在低收入国家部署中的可重现性与可扩展性。

Figure 1 : DengueNet model architecture takes in weekly satellite imagery and dengue cases ${y}$ as input for predicting $\hat{y}$ (m/px: meters per pixel; RGB: red, green and blue bands; SWIR: short wave infrared spectrum band; ViT: Vision Transformer; LSTM: Long Short-Term memory; MLP: Multilayer

实验结果

研究问题

• RQ1 高分辨率、公开可用的卫星图像是否可有效用于资源有限国家的登革热疫情预测？
• RQ2 与传统方法相比，结合视觉变换器与放射组学的混合架构在登革热预测中如何提升时空特征提取性能？
• RQ3 DengueNet 在哥伦比亚多样化的城市环境中预测表现如何？其性能在不同地区间有何差异？
• RQ4 仅依靠卫星衍生特征，是否足以实现准确的登革热预测，而无需依赖地面实测的气象或临床数据？
• RQ5 所提出的框架是否可在计算资源极少的低收入环境中部署，以支持公平的公共卫生决策？

主要发现

• DengueNet 在哥伦比亚五个市政区实现了平均 43.92 ± 42.19 的平均绝对误差（MAE），表现出稳健的预测性能。
• 在伊巴古（Ibagué）记录到最低的 MAE（5.67 ± 0.18），表明该模型在某些城市环境中具有出色的泛化能力。
• 在卡利（Cali）观察到最高的 MAE（113.65 ± 0.08），凸显了在高城市密度或复杂地形区域面临的挑战。
• 仅使用卫星图像时，该模型的性能与仅基于登革热病例数据训练的基线 LSTM 模型相当。
• 云与阴影去除（CSR）的整合显著提升了特征质量，这一点在消融实验中得到验证。
• Docker 化的卫星数据提取流程实现了可重现、可扩展的部署，支持在低资源环境中长期开展公共卫生监测。

(a) Dengue cases