[논문 리뷰] Serverless seismic imaging in the cloud

Philipp Witte, Mathias Louboutin외 2명|arXiv (Cornell University)|2019. 11. 27.

Scientific Computing and Data Management참고 문헌 9인용 수 5

한 줄 요약

이 논문은 Microsoft Azure에서 컨테이너 기반 배치 처리와 이벤트 기반 컴퓨팅을 활용하여 3D 역시간 이동(Reverse-Time Migration, RTM)의 운영 비용을 최대 6배까지 감소시키는 서버리스 지반 이미징 프레임워크를 제안한다. 파동 방정식 해법기의 자동 코드 생성을 위해 Devito를 사용하고, 각 소스 위치에 따라 컴퓨팅 인스턴스를 동적으로 스케일링함으로써 기존 VM 클러스터에서 발생하는 유휴 시간을 제거함으로써, 클라우드 환경에서 비용 효율적이고 고성능의 지반 이미징을 실현한다.

ABSTRACT

This abstract presents a serverless approach to seismic imaging in the cloud based on high-throughput containerized batch processing, event-driven computations and a domain-specific language compiler for solving the underlying wave equations. A 3D case study on Azure demonstrates that this approach allows reducing the operating cost of up to a factor of 6, making the cloud a viable alternative to on-premise HPC clusters for seismic imaging.

연구 동기 및 목표

• 소규모 및 중소규모 오일 앤 건드러스티(О&G) 기업 및 학술 기관에서 지반 이미징을 위해 사용하는 온프레미스 HPC 클러스터의 높은 운영 비용과 자원 활용도 저하 문제를 해결하기 위해.
• 기존의 '들어올리기만 하기' 방식의 클라우드 마이그레이션 방식의 한계를 극복하기 위해, 유휴 VM을 피하는 서버리스, 클라우드 네이티브 워크플로우를 설계하여 지반 RTM에 적용하기 위해.
• 동적 이벤트 기반 리소스 할당과 고성능 파동 방정식 해법기를 통해 비용 효율적이고 확장 가능한 3D 지반 이미징을 가능하게 하기 위해.
• Azure에서 서버리스 컴퓨팅이 HPC 클러스터와 유사한 성능을 달성하면서도 운영 비용을 크게 줄일 수 있음을 입증하기 위해.

제안 방법

• 각 지반 소스 위치별로 동적으로 VM을 기동하고 스케일링하는 서버리스 아키텍처를 Microsoft Azure에서 구현하여 유휴 시간을 제거한다.
• Docker 컨테이너를 활용한 워크로드를 통해 RTM 계산을 캡슐화함으로써 다양한 클라우드 환경 간 이식성과 재현 가능성을 확보한다.
• Azure Functions를 통해 이벤트 기반 워크플로우를 구현하여 개별 소스 이미지가 준비되는 즉시 이미지 합산을 트리거함으로써 비동기적이고 병렬 처리가 가능한 워크플로우를 실현한다.
• 도메인 특화 언어 컴파일러인 Devito를 활용하여 이방향 및 수반 모드에서 비등방성 투과성 압축파 동역학(TTI) 파동 방정식을 최적화된 다중 스레드 C 코드로 자동 생성한다.
• 각 소스에 대해 두 대의 VM에 MPI 기반 영역 분할을 적용하여 큰 웨이브필드를 메모리에 맞추며, E64/E64s 메모리 최적화 인스턴스를 사용한다.
• 저우선순위 VM을 활용하여 비용을 추가로 2~3배 감소시켜 고정 클러스터 대비 총 비용을 최대 6배까지 감소시켰다.

실험 결과

연구 질문

• RQ1 기존 VM 클러스터와 비교해 볼 때, 서버리스 이벤트 기반 워크플로우가 지반 RTM에서 유휴 시간과 운영 비용을 줄일 수 있는가?
• RQ2 Devito와 같은 도메인 특화 언어 컴파일러가 클라우드 네이티브 환경에서 지반 파동 방정식 해법기의 고성능과 이식성을 얼마나 향상시킬 수 있는가?
• RQ3 대규모 3D 이미징에 대해 Azure에서의 서버리스 RTM의 비용과 성능은 기존의 온프레미스 HPC 클러스터와 비교해 어떻게 되는가?
• RQ4 컨테이너 기반의 간단한 병렬 처리 워크로드가 서버리스 함수를 활용해 클라우드 환경에서 효과적으로 오케스트레이션될 수 있는가?

주요 결과

• Azure에서의 서버리스 RTM 워크플로우는 고정 클러스터 대비 운영 비용을 최대 6배까지 감소시켰으며, 주로 유휴 시간을 제거함으로써 달성되었다.
• 소스 이미지당 평균 실행 시간은 119.28분이었으며, 100台의 VM을 사용해 총 솔루션 도달 시간은 약 30시간이 소요되었다.
• 고정 클러스터의 누적 유휴 시간은 워커 수가 증가함에 따라 크게 증가했으며, 마지막 작업이 완료될 때까지 대기로 인해 비용이 최대 2배까지 증가했다.
• 저우선순위 VM을 사용함으로써 비용이 추가로 2~3배 감소했으며, 이는 총 6배의 비용 절감에 기여했다.
• 최종 3D RTM 이미지는 1,500m 수평 깊이 슬라이스로 시각화되어 대규모에서 고해상도 이미징의 가능성을 입증했다.
• 자동 코드 생성과 추상화를 통해 유연성과 비용 효율성을 유지하면서도 산업 수준의 문제 해결에 적합한 성능을 달성했다.