[論文レビュー] Hybrid-DNNs: Hybrid Deep Neural Networks for Mixed Inputs

Zhenyu Yuan, Yuxin Jiang+2 more|arXiv (Cornell University)|May 18, 2020

Hydrocarbon exploration and reservoir analysis参考文献 47被引用数 15

ひとこと要約

本論文は、画像、曲線、および表形式の地中地質的パラメータなどの混合入力データを処理するための、畳み込みニューラルネットワーク（CNN）と多層パーセプトロン（MLP）を統合した新しい深層ニューラルネットワークアーキテクチャ、Hybrid-DNNを提案する。構造的（画像ベース）および数値的（表形式）の入力を別々に特徴抽出し、その後で特徴を連結してエンドツーエンド学習を行うことで、単一のMLPまたはCNNモデルよりも高い精度とより優れた一般化性能を達成する。

ABSTRACT

Rapid development of big data and high-performance computing have encouraged explosive studies of deep learning in geoscience. However, most studies only take single-type data as input, frittering away invaluable multisource, multi-scale information. We develop a general architecture of hybrid deep neural networks (HDNNs) to support mixed inputs. Regarding as a combination of feature learning and target learning, the new proposed networks provide great capacity in high-hierarchy feature extraction and in-depth data mining. Furthermore, the hybrid architecture is an aggregation of multiple networks, demonstrating good flexibility and wide applicability. The configuration of multiple networks depends on application tasks and varies with inputs and targets. Concentrating on reservoir production prediction, a specific HDNN model is configured and applied to an oil development block. Considering their contributions to hydrocarbon production, core photos, logging images and curves, geologic and engineering parameters can all be taken as inputs. After preprocessing, the mixed inputs are prepared as regular-sampled structural and numerical data. For feature learning, convolutional neural networks (CNN) and multilayer perceptron (MLP) network are configured to separately process structural and numerical inputs. Learned features are then concatenated and fed to subsequent networks for target learning. Comparison with typical MLP model and CNN model highlights the superiority of proposed HDNN model with high accuracy and good generalization.

研究の動機と目的

• 単一タイプの入力しか処理できない既存の深層学習モデルの限界を是正し、マルチソース・マルチスケールの地球科学データを活用する。
• コア写真、ログ画像、曲線、および地中地質的／工学的パラメータなど、異種のデータタイプを統合的に統合可能な統一された深層学習フレームワークを実現する。
• 地球科学分野における多様な入力設定および応用タスクに適応可能な柔軟でモジュラーな深層学習アーキテクチャの開発。
• 混合入力からの階層的特徴学習を活用して、リザーバー生産予測の精度と一般化性能を向上させる。

提案手法

• 構造的画像入力（例：コア写真、ログ画像）を処理するCNNと、数値的表形式入力（例：地中地質的・工学的パラメータ）を処理するMLPを統合したハイブリッド深層ニューラルネットワーク（HDNN）アーキテクチャを設計する。
• 深層学習に適した規則的なサンプリング済み構造的フォーマットに混合入力を前処理し、異なるデータタイプ間の互換性を確保する。
• 畳み込み層およびプーリング層を通じて、画像ベース入力からの高レベルの空間的特徴をCNNで抽出する。
• MLPを用いて数値的およびスカラーデータの特徴から複雑な非線形表現を学習する。
• CNNとMLPの両ブランチで学習された特徴を統合表現として連結する。
• リザーバー生産予測の回帰タスクに特化した損失関数を用いて、バックプロパゲーションによるエンドツーエンドHDNNモデルの学習を行う。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッド深層ニューラルネットワークは、画像と数値的パラメータという混合入力データタイプを効果的に統合し、リザーバー生産予測の精度を向上させることができるか？
• RQ2 異種の地球科学データを処理する際、提案されたHDNNモデルの性能は、標準的なMLPおよびCNNモデルと比べてどのように異なるか？
• RQ3 HDNNにおける特徴統合戦略は、モデルの一般化性能および予測精度をどの程度向上させるか？
• RQ4 HDNNアーキテクチャは、地球科学分野の異なる入力設定およびアプリケーション固有の要件に、どの程度柔軟に適応可能か？

主な発見

• 提案されたHDNNモデルは、リザーバー生産予測タスクにおいて、単体のMLPおよびCNNモデルよりも顕著に高い予測精度を達成した。
• HDNNは優れた一般化性能を示しており、多様な入力設定およびデータ分布にわたって堅牢であることが示された。
• CNNとMLPによる別々の入力ストリームでの特徴学習により、異種データからの階層的表現の効果的抽出が可能となった。
• モダリティ固有の特徴の連結により、より包括的な表現が得られ、リザーバー・データ内の複雑な関係を捉える能力が向上した。
• ハイブリッドアーキテクチャは、コア写真、ログ画像、曲線、地中地質的パラメータからのマルチソース・マルチスケール情報の有効活用を可能にしたが、単一タイプのモデルではこれを達成できなかった。
• 実証的結果から、HDNNモデルがベースラインモデルに比べて精度および一般化性能の両面で優れていることが確認され、地球科学分野における混合入力学習のための設計の有効性が裏付けられた。