[논문 리뷰] Optimal Sequential Decision-Making in Geosteering: A Reinforcement Learning Approach

Ressi Bonti Muhammad, Sergey Alyaev외 1명|arXiv (Cornell University)|2023. 10. 07.

Oil and Gas Production Techniques인용 수 4

한 줄 요약

이 논문은 환경 모델을 명시적으로 필요로 하지 않고 실시간으로 순차적 지오스티어링 결정을 최적화하기 위해 딥 Q네트워크(DQN)를 사용하는 모델 프리 강화학습(RL) 접근법을 제안한다. 이 방법은 약간의 계산 시간 감소로도 약 1,000개의 저류 실현값을 10초 이내로 평가할 수 있으며, ADP(근사 동적 프로그래밍)의 4~5시간 대비 약 200배 빠른 처리 속도를 보이며 계산 효율성과 복잡하고 불확실한 지오스티어링 환경에 대한 적응성을 입증한다.

ABSTRACT

Trajectory adjustment decisions throughout the drilling process, called geosteering, affect subsequent choices and information gathering, thus resulting in a coupled sequential decision problem. Previous works on applying decision optimization methods in geosteering rely on greedy optimization or approximate dynamic programming (ADP). Either decision optimization method requires explicit uncertainty and objective function models, making developing decision optimization methods for complex and realistic geosteering environments challenging to impossible. We use the Deep Q-Network (DQN) method, a model-free reinforcement learning (RL) method that learns directly from the decision environment, to optimize geosteering decisions. The expensive computations for RL are handled during the offline training stage. Evaluating DQN needed for real-time decision support takes milliseconds and is faster than the traditional alternatives. Moreover, for two previously published synthetic geosteering scenarios, our results show that RL achieves high-quality outcomes comparable to the quasi-optimal ADP. Yet, the model-free nature of RL means that by replacing the training environment, we can extend it to problems where the solution to ADP is prohibitively expensive to compute. This flexibility will allow applying it to more complex environments and make hybrid versions trained with real data in the future.

연구 동기 및 목표

• 지속적으로 변화하는 LWD 데이터와 불확실한 지하 조건에 따라 궤도 조정이 필요한 지오스티어링의 순차적 의사결정 문제를 해결한다.
• 명시적인 환경 모델이 필요한 기존 방법(예: 탐욕적 최적화 및 약간의 동적 프로그래밍(ADP))의 한계를 극복하며, 복잡한 시나리오에서는 적용이 불가능한 문제를 해결한다.
• 환경 상호작용에서 직접 학습하는 모델 프리 강화학습을 활용해, 지오스티어링에 적합한 탄력적이고 계산 효율적인 의사결정 지원 시스템을 개발한다.
• RL이 ADP에 비해 평가 시간을 시간에서 초로 단축하면서도 유사 최적의 성능을 달성할 수 있음을 입증한다.
• 학습 환경을 교체함으로써 전체 정책을 재학습하지 않고도 더 복잡하거나 이전에는 해결이 어려웠던 지오스티어링 문제로의 확장이 가능하다.

제안 방법

• 모델 프리 강화학습 알고리즘인 딥 Q네트워크(DQN)를 사용하여 시뮬레이션된 드릴링 환경에서 최적의 지오스티어링 정책을 직접 학습한다.
• 센서 입력과 지질학적 파rameter(예: 저류 경계, 웰보어 위치, 기울기)를 사용해 상태 공간을 정의하며, 한 변형(즉, RL-Sensor)에서는 명시적인 사후 업데이트를 제거하여 계산을 줄인다.
• 예상 수익과 저류 목표지점과의 근접도를 기반으로 보상 함수를 정의하여 장기적인 가치를 극대화하는 궤도 결정을 장려한다.
• 경험 재생과 타겟 네트워크를 사용해 오프라인으로 DQN 에이전트를 훈련시키며, 학습 안정성을 높이고 보상 함수를 지오스티어링 목표에 맞게 조정한다.
• 베이지안 모델 업데이트 단계를 분리하기 위해 원시 센서 입력을 상태 특징으로 사용함으로써 전체 사후 모델링 대비 계산 오버헤드를 감소시킨다.
• 훈련된 에이전트를 실시간 추론 모드에서 평가하여 밀리초 수준의 추론 시간을 달성하였으며, 운영적 구현에 적합하다.

실험 결과

연구 질문

• RQ1 명시적인 환경 모델이 필요 없이 모델 프리 강화학습 접근법이 합성 지오스티어링 시나리오에서 근사 최적의 ADP 성능을 유사하게 달성할 수 있는가?
• RQ2 다양한 저류 실현값을 평가할 때, RL의 계산 효율성은 기존의 ADP 기반 방법과 비교해 어떻게 다른가?
• RQ3 상태 표현에서 베이지안 사후 업데이트를 생략할 경우(즉, RL-Sensor 대비 RL-Posterior) 성능과 추론 속도에 어떤 영향을 미치는가?
• RQ4 최소한의 아키텍처나 하이퍼파라미터 변경으로 다양한 지오스티어링 환경에 대해 얼마나 잘 일반화되는가?
• RQ5 센서 데이터가 노이즈가 많거나 불완전한 상황에서 RL은 순차적 의사결정을 어떻게 처리하며, 실제 운영에 미치는 영향은 무엇인가?

주요 결과

• RL-Posterior 방법은 다양한 합성 시나리오에서 탐욕적 최적화 대비 19~33% 향상된 가치 함수 성능을 달성했다.
• RL-Sensor 방법은 계산 시간을 2,500초에서 500초로 단축하면서도 RL-Posterior 변형보다 略적으로 더 높은 보상을 얻었다.
• 두 번째 시나리오에서 RL은 근사 최적의 DSDP(약간의 동적 프로그래밍) 솔루션과 유사한 보상을 달성했으며, 통계적으로 유의미한 차이는 없었다.
• RL 추론은 1,000개의 저류 실현값을 10초 이내로 평가했고, DSDP는 동일한 작업에 4~5시간이 소요되어 평가 속도가 약 200배 빨라졌다.
• DQN 에이전트는 실시간 추론 성능을 달성하기 위해 단 20분의 오프라인 훈련만으로도 충분했으며, 운영적 구현에 적합하다.
• RL의 모델 프리 성격 덕분에 기존 의사결정 프레임워크를 재설계하지 않고도 새로운 지오스티어링 환경로에 쉽게 적응할 수 있다.