[논문 리뷰] Advanced Deep Regression Models for Forecasting Time Series Oil Production

Siavash Hosseini, Thangarajah Akilan|arXiv (Cornell University)|2023. 08. 30.

Reservoir Engineering and Simulation MethodsEngineering인용 수 3

한 줄 요약

이 논문은 볼베 유전의 시계열 석유 생산 예측을 위한 1D-CNN 및 LSTM 아키텍처를 사용하는 딥러닝 프레임워크를 제안한다. LSTM 모델은 선형 회귀 기준선 대비 37% 향상된 성능을 보이며, MAE 111.16과 R² 0.98를 기록하여, 더 나은 시퀀스 모델링과 더 적은 파라미터 수로 인해 우수한 정확도와 효율성을 입증한다.

ABSTRACT

Global oil demand is rapidly increasing and is expected to reach 106.3 million barrels per day by 2040. Thus, it is vital for hydrocarbon extraction industries to forecast their production to optimize their operations and avoid losses. Big companies have realized that exploiting the power of deep learning (DL) and the massive amount of data from various oil wells for this purpose can save a lot of operational costs and reduce unwanted environmental impacts. In this direction, researchers have proposed models using conventional machine learning (ML) techniques for oil production forecasting. However, these techniques are inappropriate for this problem as they can not capture historical patterns found in time series data, resulting in inaccurate predictions. This research aims to overcome these issues by developing advanced data-driven regression models using sequential convolutions and long short-term memory (LSTM) units. Exhaustive analyses are conducted to select the optimal sequence length, model hyperparameters, and cross-well dataset formation to build highly generalized robust models. A comprehensive experimental study on Volve oilfield data validates the proposed models. It reveals that the LSTM-based sequence learning model can predict oil production better than the 1-D convolutional neural network (CNN) with mean absolute error (MAE) and R2 score of 111.16 and 0.98, respectively. It is also found that the LSTM-based model performs better than all the existing state-of-the-art solutions and achieves a 37% improvement compared to a standard linear regression, which is considered the baseline model in this work.

연구 동기 및 목표

• 전통적인 기계학습 모델이 시계열 석유 생산 데이터의 복잡한 시간 패턴을 포착하는 데 한계가 있음을 해결하기 위해.
• 다양한 웰의 순차적 데이터를 활용해 정확한 예측이 가능한 강건하고 일반화 능력이 뛰어난 딥러닝 모델을 개발하기 위해.
• 초기화 조정, 시퀀스 길이, 다중 웰 데이터 통합을 최적화하여 일반화 능력과 성능을 향상시키기 위해.
• 기존 최첨단 모델 대비 정확도와 계산 효율성에서 뛰어난 성능을 내는 것을 목표로 하기 위해.

제안 방법

• 순차적 석유 생산 데이터의 시간적 의존성을 학습하기 위해 1D-CNN 및 LSTM 기반 딥 레그레션 모델을 활용하였다.
• 결측치 처리, 도메인 전문 지식 기반 특성 선택, 데이터 스케일링을 포함한 철저한 데이터 전처리를 수행하였다.
• 일반화 능력을 확보하기 위해 최적의 시퀀스 길이 및 다중 웰 데이터 세트 구성 방식을 시스템적으로 분석하였다.
• 다양한 테스트 웰에서의 검증을 통해 체계적인 아블레이션 연구를 통해 하이퍼파라미터를 최적화하였다.
• 모델 성능과 효율성을 평가하기 위해 평균 절대 오차(MAE), R² 점수, FLOPs를 사용하였다.
• 볼베 유전 전역에서의 일반화를 가능하게 하기 위해 모든 다섯 웰의 데이터를 기반으로 모델을 훈련시켰다.

실험 결과

연구 질문

• RQ1 LSTM 기반 모델은 1D-CNN 및 기존 기계학습 모델 대비 시계열 석유 생산 예측에서 뛰어난 성능을 보일 수 있는가?
• RQ2 정확하고 일반화 능력이 뛰어난 석유 생산 예측을 위해 최적의 시퀀스 길이와 하이퍼파라미터 설정은 무엇인가?
• RQ3 정확도와 계산 효율성 측면에서 제안된 모델은 기존 최첨단 모델과 비교해 어떻게 성능을 냈는가?
• RQ4 다양한 웰의 데이터로 훈련된 단일 모델이 동일한 유전 내에서 볼 수 없는 웰로도 일반화될 수 있는 정도는 어느 정도인가?
• RQ5 다양한 웰의 데이터 통합이 예측의 강건성과 일반화 능력을 향상시킬 수 있는가?

주요 결과

• 제안된 LSTM 기반 모델은 글로벌 테스트 세트에서 평균 절대 오차(MAE) 111.16과 R² 점수 0.98를 기록하여, 모든 기준선 및 최첨단 모델을 초월하는 성능을 보였다.
• LSTM 모델은 표준 선형 회귀 기준선 대비 예측 정확도에서 37% 향상된 성능을 보였다.
• 1D-CNN 모델 대비 약 45% 적은 학습 가능한 파라미터 수와 오직 2%의 FLOPs를 차지하여, 뛀난 계산 효율성을 나타냈다.
• 1D-CNN 모델은 MAE 151.64와 R² 0.96를 기록하여 선형 회귀 대비 뚜렷한 향상을 보였지만, LSTM 모델에 비해 낮은 성능을 보였다.
• 자원 제약이 있는 플랫폼에서는 모델 2(LSTM)가 최적이며, 높은 예측 정밀도가 요구되는 경우 모델 3(LSTM)가 선호된다.
• 정성적 분석을 통해 두 모델이 모두 다섯 개의 테스트 웰에서 실제 생산 추세를 잘 따라가며, 예측 신뢰도가 검증되었다.