[논문 리뷰] Hybrid-DNNs: Hybrid Deep Neural Networks for Mixed Inputs

Zhenyu Yuan, Yuxin Jiang외 2명|arXiv (Cornell University)|2020. 05. 18.

Hydrocarbon exploration and reservoir analysis참고 문헌 47인용 수 15

한 줄 요약

이 논문은 복합 입력 데이터—예를 들어 이미지, 곡선, 표형 지질학적 파rameter—를 처리하기 위해 합성곱 신경망(CNNs)과 다층 퍼셉트론(MLPs)을 통합한 새로운 딥 뉴럴 네트워크 아키텍처인 Hybrid-DNNs를 제안한다. 구조적(이미지 기반) 및 수치적(표형) 입력에서 별도로 특징을 추출한 후 이를 연결하여 엔드 투 엔드 학습을 수행함으로써, 단일 MLP 또는 CNN 모델보다 높은 정확도와 더 나은 일반화 성능을 달성한다.

ABSTRACT

Rapid development of big data and high-performance computing have encouraged explosive studies of deep learning in geoscience. However, most studies only take single-type data as input, frittering away invaluable multisource, multi-scale information. We develop a general architecture of hybrid deep neural networks (HDNNs) to support mixed inputs. Regarding as a combination of feature learning and target learning, the new proposed networks provide great capacity in high-hierarchy feature extraction and in-depth data mining. Furthermore, the hybrid architecture is an aggregation of multiple networks, demonstrating good flexibility and wide applicability. The configuration of multiple networks depends on application tasks and varies with inputs and targets. Concentrating on reservoir production prediction, a specific HDNN model is configured and applied to an oil development block. Considering their contributions to hydrocarbon production, core photos, logging images and curves, geologic and engineering parameters can all be taken as inputs. After preprocessing, the mixed inputs are prepared as regular-sampled structural and numerical data. For feature learning, convolutional neural networks (CNN) and multilayer perceptron (MLP) network are configured to separately process structural and numerical inputs. Learned features are then concatenated and fed to subsequent networks for target learning. Comparison with typical MLP model and CNN model highlights the superiority of proposed HDNN model with high accuracy and good generalization.

연구 동기 및 목표

• 단일 유형의 입력만 처리하는 기존 딥 러닝 모델의 한계를 해결하여, 다중 소스, 다중 스케일 지과학 데이터를 누락하는 문제를 해결한다.
• 코어 사진, 로깅 이미지, 곡선, 지질학적/공학적 파rameter와 같은 이질적인 데이터 유형을 통합된 딥 러닝 프레임워크에 효과적으로 통합할 수 있도록 한다.
• 지질학 분야의 다양한 입력 구성과 응용 과제에 적응할 수 있는 유연하고 모듈화된 딥 러닝 아키텍처를 개발한다.
• 복합 입력에서 계층적 특징 학습을 활용하여 오일레이크 생산 예측의 정확도와 일반화 능력을 향상시킨다.

제안 방법

• 구조적 이미지 입력(예: 코어 사진, 로깅 이미지)을 처리하기 위한 CNN과 수치적 표형 입력(예: 지질학적 및 공학적 파rameter)을 처리하기 위한 MLP를 조합한 하이브리드 딥 뉴럴 네트워크(HDNN) 아키텍처를 설계한다.
• 딥 러닝에 적합한 정규 샘플링 및 구조화된 형식으로 복합 입력을 전처리하여 다양한 데이터 유형 간의 호환성을 확보한다.
• 컨볼루션 및 풀링 레이어를 통해 이미지 기반 입력에서 고차원 공간적 특징을 추출한다.
• 수치적 및 스칼라 입력 특징에서 복잡한 비선형 표현을 학습하기 위해 MLP를 사용한다.
• CNN 및 MLP 브랜치에서 학습된 특징을 통합된 표현으로 연결하여 후속 예측 작업을 위한 기반을 마련한다.
• 오일레이크 생산 예측의 회귀 과제에 맞는 손실 함수를 사용하여 백프로파게이션을 통해 엔드 투 엔드 HDNN 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 하이브리드 딥 뉴럴 네트워크는 이미지 및 수치적 파rameter와 같은 복합 입력 데이터 유형을 효과적으로 통합하여 오일레이크 생산 예측을 향상시킬 수 있는가?
• RQ2 이상적인 HDNN 모델은 이질적인 지과학 데이터를 처리할 때 기존의 표준 MLP 및 CNN 모델과 비교해 어떤 성능을 보이는가?
• RQ3 HDNN에서의 특징 융합 전략은 모델의 일반화 능력과 예측 정확도 향상에 얼마나 기여하는가?
• RQ4 지질학 응용 분야에서 다양한 입력 구성과 응용 특화 요구사항에 맞게 HDNN 아키텍처는 얼마나 잘 유연하게 적응할 수 있는가?

주요 결과

• 제안된 HDNN 모델은 오일레이크 생산 예측 과제에서 단일 MLP 및 CNN 모델보다 유의미하게 높은 예측 정확도를 달성한다.
• HDNN는 다양한 입력 구성과 데이터 분포에 걸쳐 뛰어난 일반화 성능을 보이며, 이는 강건성을 시사한다.
• 각기 다른 입력 스트림에서 CNN 및 MLP를 통한 특징 학습은 이질적 데이터에서 계층적 표현을 효과적으로 추출할 수 있도록 한다.
• 모odal별 특징의 연결은 더 종합적인 표현을 만들어내어, 오일레이크 데이터의 복잡한 관계를 더 잘 포착할 수 있도록 모델의 능력을 향상시킨다.
• 하이브리드 아키텍처는 코어 사진, 로깅 이미지, 곡선, 지질학적 파rameter에서 온 다중 소스, 다중 스케일 정보를 효과적으로 활용하며, 이는 단일 유형 모델이 활용하지 못하는 부분이다.
• 실증 결과는 HDNN 모델이 정확도와 일반화 능력 측면에서 베이스라인 모델을 모두 능가함을 확인하여, 지질학 응용 분야에서 복합 입력 학습을 위한 설계의 타당성을 입증한다.