[论文解读] Deep Learning on Real Geophysical Data: A Case Study for Distributed Acoustic Sensing Research

Vincent Dumont, Verónica Rodrı́guez Tribaldos+2 more|arXiv (Cornell University)|Oct 15, 2020

Seismic Waves and Analysis参考文献 4被引用 4

一句话总结

本论文提出了一种在HPC系统上使用ResNet架构对真实分布式声学传感（DAS）数据中的可用地震能量进行识别的超参数优化深度学习框架。通过仅在1,000张标注图像上进行训练，该方法在分类相干波与噪声方面实现了高精度，借助GPU扩展实现了100倍的速度提升，并识别出四种高度可解释的模型，其输出概率在复杂信号模式下与真实概率期望高度一致。

ABSTRACT

Deep Learning approaches for real, large, and complex scientific data sets can be very challenging to design. In this work, we present a complete search for a finely-tuned and efficiently scaled deep learning classifier to identify usable energy from seismic data acquired using Distributed Acoustic Sensing (DAS). While using only a subset of labeled images during training, we were able to identify suitable models that can be accurately generalized to unknown signal patterns. We show that by using 16 times more GPUs, we can increase the training speed by more than two orders of magnitude on a 50,000-image data set.

研究动机与目标

• 开发一种可扩展且可解释的深度学习分类器，用于识别高密度、高噪声DAS数据中的可用地震能量。
• 解决难以标注或泛化复杂、非相干及饱和信号模式的分类挑战。
• 针对硬件、数据表示和模型架构进行超参数优化，以实现在大规模地球物理数据集上的高效训练。
• 在缺乏复杂信号类型标注数据的情况下，建立模型可解释性与可靠性评估的方法论。
• 评估在TB级地球物理数据上训练深度学习模型时的GPU扩展效率。

提出的方法

• 在HPC硬件（CPU与GPU）、数据表示（灰度与RGB）、模型架构（不同深度与瓶颈尺寸的ResNet）以及训练设置（初始学习率、训练轮数、批量大小）之间进行了九维超参数搜索。
• 研究使用NERSC的Cori超算系统训练了6,460个不同的模型，重点采用GPU训练，最多使用4个节点上的32块V100 GPU。
• 采用平行坐标图可视化并比较所有超参数组合，最佳模型通过其与真实概率值的接近程度进行识别。
• 通过评估输出概率与四种参考信号类型（白噪声、相干波、非相干波和饱和信号）的预期范围一致性，评估模型可解释性。
• 进行了训练吞吐量映射，以确定最优GPU扩展策略，结果显示在50,000张图像数据集上，GPU数量从16提升至32时，训练吞吐量提升超过两个数量级。
• 采用二分类任务：区分相干面波与白噪声，通过评估模型在多样化信号模式下的概率输出一致性进行模型评估。

实验结果

研究问题

• RQ1 哪些超参数配置能够生成在真实DAS数据中分类地震能量时最准确且泛化能力最强的深度学习模型？
• RQ2 GPU扩展如何影响大规模地球物理深度学习工作负载的训练吞吐量与效率？
• RQ3 仅在干净信号模式（相干波与白噪声）上训练的模型，能否可靠地泛化到预测复杂、未标注信号区域中的可用能量？
• RQ4 当非相干波与饱和信号模式缺乏真实标签时，如何评估模型的可解释性？
• RQ5 在高精度地震信号分类任务中，模型深度、学习率、批量大小与数据表示之间应如何权衡以达到最优性能？

主要发现

• 在训练的1,440个模型中，仅有四个模型的输出概率在所有四种参考信号类型上均符合预期的真实概率范围，表明其具有高度的可靠性与可解释性。
• 表现最佳的模型为14层隐藏层的ResNet，学习率为0.001，批量大小为128，基于1,000张图像子集进行训练，经过40个周期后，对相干波的输出概率稳定在0.9163，对白噪声的输出概率稳定在0.0237。
• 对于非相干波，最佳模型预测的概率为0.8592至0.8628，落在预期范围0.7至0.9之间。
• 对于饱和信号，最佳模型预测的概率为0.2048至0.2975，与预期范围0.2至0.3一致。
• 在50,000张图像数据集上，GPU数量从16提升至32时，训练吞吐量提升超过两个数量级，表明GPU扩展效率极高。
• 研究发现，基于GPU的训练在速度与可扩展性方面显著优于基于CPU的并行化处理，尤其适用于大规模DAS数据。