[논문 리뷰] Exploring the Role of Machine Learning in Scientific Workflows: Opportunities and Challenges

Azita Nouri, Philip E. Davis외 2명|arXiv (Cornell University)|2021. 10. 26.

Scientific Computing and Data Management참고 문헌 138인용 수 7

한 줄 요약

이 종합 검토는 과학 워크플로우의 입력 준비, 실행, 출력 처리 단계 전반에 걸쳐 기계학습(ML)의 통합을 탐구하며, 스케줄링, 장애 탐지, 데이터 관리 및 인-사이트 분석 최적화를 위한 ML 기법을 제안한다. 대규모 과학 워크로드에서의 확장성, 신뢰성 및 실시간 의사결정 문제와 같은 핵심 기회와 해결되지 않은 과제를 규명한다.

ABSTRACT

In this survey, we discuss the challenges of executing scientific workflows as well as existing Machine Learning (ML) techniques to alleviate those challenges. We provide the context and motivation for applying ML to each step of the execution of these workflows. Furthermore, we provide recommendations on how to extend ML techniques to unresolved challenges in the execution of scientific workflows. Moreover, we discuss the possibility of using ML techniques for in-situ operations. We explore the challenges of in-situ workflows and provide suggestions for improving the performance of their execution using ML techniques.

연구 동기 및 목표

• 기계학습이 입력 준비, 런타임 관리 및 출력 처리 단계에서 과학 워크플로우 실행을 향상시키는 데 수행하는 역할을 분석하기.
• 스케줄링, 장애 내성, I/O 오버헤드 및 자원 관리와 같은 과학 워크플로우 실행 과제 중에서 ML이 해결책을 제공할 수 있는 핵심 과제를 규명하기.
• 모델링 중 데이터를 분석하여 I/O 병목 현상을 줄이는 인-사이트 과학 워크플로우에서의 ML 응용을 탐색하기.
• 과학 워크플로우 관리 시스템(WMS)의 성능, 확장성 및 신뢰성 향상을 위한 ML 기법을 제안하기.
• 다중 목표 스케줄링, 온라인/오프라인 학습 및 워크플로우 간 일반화 모델링과 같은 열린 연구 과제를 다루기.

제안 방법

• 입력, 실행 및 출력 단계에서 과학 워크플로우에 적용된 기존 ML 응용에 대한 체계적 종합 검토.
• 입력 준비 단계에서 워크플로우 구성, 파라미터 튜닝 및 모델 최적화에 사용된 ML 기법의 분류.
• 런타임 작업: 스케줄링, 장애 탐지, I/O 및 메모리 관리, 성능 예측에 대한 ML 기반 접근법 분석.
• 인-사이트 워크플로우에 대한 ML 평가: 데이터 액세스 패턴 예측 및 사전 자원 할당.
• 모니터링 데이터 및 이전 실행 로그를 활용해 자원 사용 예측 및 이상 탐지용 ML 모델 훈련.
• 동적 설정, 장애 완화 및 워크플로우 유래 추적 분석을 위한 ML 기반 의사결정 프레임워크 제안.

실험 결과

연구 질문

• RQ1 기계학습은 과학 워크플로우의 입력 준비 단계, 즉 파라미터 튜닝, 모델 최적화 및 워크플로우 구성 향상에 어떻게 기여할 수 있는가?
• RQ2 대규모 과학 워크플로우에서 스케줄링, 장애 탐지 및 I/O/메모리 관리와 같은 런타임 과제 해결에 효과적인 ML 기법은 무엇인가?
• RQ3 기계학습을 활용해 인-사이트 과학 워크플로우의 성능과 효율성을 어떻게 향상시킬 수 있는가?
• RQ4 특히 확장성과 신뢰성 측면에서 과학 워크플로우 실행에 ML을 적용할 때의 주요 제약 조건과 열린 과제는 무엇인가?
• RQ5 기계학습은 과학 워크플로우 출력의 재현 가능성과 유래 추적을 어떻게 지원할 수 있는가?

주요 결과

• ML 기법은 역학적 자원 사용 예측 및 이력 및 실시간 데이터 기반 작업 배치 최적화를 통해 워크플로우 스케줄링을 크게 향상시킨다.
• 과거 실행에서의 패턴을 학습함으로써 ML은 장애를 조기에 탐지할 수 있게 하여 정지 시간을 줄이고 신뢰성을 향상시킨다.
• 인-사이트 워크플로우는 예측 기반 데이터 액세스 모델링 덕분에 I/O 오버헤드를 줄이고 사전 데이터 준비를 가능하게 하여 혜택을 본다.
• 차원 축소 및 ML 기반 데이터 압축은 데이터 집약적 워크플로우에서 데이터 이동 시간을 줄이고 효율성을 향상시킨다.
• ML 모델은 중요한 입력-출력 상관관계를 식별할 수 있어 자동 설정 튜닝을 가능하게 하고 수동 파라미터 탐색을 줄일 수 있다.
• 진전이 있었음에도 불구하고, 다양한 과학 워크플로우 및 실행 환경에서 ML 모델의 확장성, 해석 가능성 및 신뢰성 확보 문제는 여전히 남아 있다.