[论文解读] Hybrid-DNNs: Hybrid Deep Neural Networks for Mixed Inputs

Zhenyu Yuan, Yuxin Jiang+2 more|arXiv (Cornell University)|May 18, 2020

Hydrocarbon exploration and reservoir analysis参考文献 47被引用 15

一句话总结

本文提出了一种名为 Hybrid-DNNs 的新型深度神经网络架构，该架构整合了卷积神经网络（CNNs）和多层感知机（MLPs），用于处理混合输入数据（如图像、曲线和表格状的地质参数），以实现油藏产能预测。通过分别从结构化（基于图像）和数值化（表格）输入中提取特征，再将它们拼接用于端到端学习，该模型在准确率和泛化能力方面均优于独立的 MLP 或 CNN 模型。

ABSTRACT

Rapid development of big data and high-performance computing have encouraged explosive studies of deep learning in geoscience. However, most studies only take single-type data as input, frittering away invaluable multisource, multi-scale information. We develop a general architecture of hybrid deep neural networks (HDNNs) to support mixed inputs. Regarding as a combination of feature learning and target learning, the new proposed networks provide great capacity in high-hierarchy feature extraction and in-depth data mining. Furthermore, the hybrid architecture is an aggregation of multiple networks, demonstrating good flexibility and wide applicability. The configuration of multiple networks depends on application tasks and varies with inputs and targets. Concentrating on reservoir production prediction, a specific HDNN model is configured and applied to an oil development block. Considering their contributions to hydrocarbon production, core photos, logging images and curves, geologic and engineering parameters can all be taken as inputs. After preprocessing, the mixed inputs are prepared as regular-sampled structural and numerical data. For feature learning, convolutional neural networks (CNN) and multilayer perceptron (MLP) network are configured to separately process structural and numerical inputs. Learned features are then concatenated and fed to subsequent networks for target learning. Comparison with typical MLP model and CNN model highlights the superiority of proposed HDNN model with high accuracy and good generalization.

研究动机与目标

• 解决现有深度学习模型仅能处理单一类型输入的局限性，避免遗漏多源、多尺度的地球科学数据。
• 实现在统一的深度学习框架中有效整合异构数据类型——包括岩心照片、测井图像、曲线以及地质/工程参数。
• 开发一种灵活、模块化的深度学习架构，能够适应地球科学中多样化输入配置和应用任务。
• 通过从混合输入中学习分层特征，提升油藏产能预测的预测准确率和泛化能力。

提出的方法

• 设计一种混合深度神经网络（HDNN）架构，结合 CNN 用于处理结构化图像输入（如岩心照片、测井图像），以及 MLP 用于处理数值型表格输入（如地质和工程参数）。
• 将混合输入预处理为适合深度学习的规则采样、结构化格式，确保不同类型数据之间的兼容性。
• 应用 CNN 通过卷积和池化层从基于图像的输入中提取高层空间特征。
• 利用 MLP 学习来自数值型和标量输入特征的复杂非线性表示。
• 将 CNN 和 MLP 分支学习到的特征拼接为统一表示，用于下游预测任务。
• 使用针对油藏产能预测回归任务定制的损失函数，通过反向传播训练端到端的 HDNN 模型。

实验结果

研究问题

• RQ1 混合深度神经网络能否有效整合不同类型输入数据（图像与数值参数），以提升油藏产能预测性能？
• RQ2 在处理异构地球科学数据时，所提出的 HDNN 模型性能与标准 MLP 和 CNN 模型相比如何？
• RQ3 HDNN 中的特征融合策略在多大程度上提升了模型的泛化能力和预测准确率？
• RQ4 HDNN 架构在适应地球科学应用中不同输入配置和特定应用需求方面具有多大灵活性？

主要发现

• 所提出的 HDNN 模型在油藏产能预测任务中，相比独立的 MLP 和 CNN 模型，实现了显著更高的预测准确率。
• HDNN 展现出更优的泛化性能，表明其在多种输入配置和数据分布下均具有鲁棒性。
• 通过 CNN 和 MLP 在独立输入流上的特征学习，能够有效提取异构数据的分层表示。
• 模态特异性特征的拼接生成了更全面的表示，增强了模型捕捉油藏数据中复杂关系的能力。
• 混合架构有效利用了来自岩心照片、测井图像、曲线以及地质参数的多源、多尺度信息，而单一类型模型则无法实现这一点。
• 实证结果证实，HDNN 模型在准确率和泛化能力方面均优于基线模型，验证了其在地球科学混合输入学习中的设计有效性。