[논문 리뷰] Flow-Bench: A Dataset for Computational Workflow Anomaly Detection

George Papadimitriou, Hongwei Jin외 6명|arXiv (Cornell University)|2023. 06. 16.

Scientific Computing and Data ManagementDecision Sciences인용 수 3

한 줄 요약

이 논문은 분산 HPC 시스템에서 실행되는 실제 워크플로우에 합성 이상을 주입하여 만든 새로운 벤치마크 데이터셋인 Flow-Bench를 소개한다. 이는 표준화된 워크플로우 이상 탐지 평가를 위한 데이터셋 부족 문제를 해결하고자 하며, 표준형 및 그래프 구조 워크플로우 데이터에 대해 비지도 기계학습 기법을 평가한다. 결과적으로 일부 기법은 중간 정도의 성능을 보였지만(예: F1 최대 0.663), 많은 기법들이 메모리 문제 또는 낮은 정밀도로 실패함을 확인하여 과학적 워크플로우에서 도메인 특화 이상 탐지 접근법의 필요성을 강조한다.

ABSTRACT

A computational workflow, also known as workflow, consists of tasks that must be executed in a specific order to attain a specific goal. Often, in fields such as biology, chemistry, physics, and data science, among others, these workflows are complex and are executed in large-scale, distributed, and heterogeneous computing environments prone to failures and performance degradation. Therefore, anomaly detection for workflows is an important paradigm that aims to identify unexpected behavior or errors in workflow execution. This crucial task to improve the reliability of workflow executions can be further assisted by machine learning-based techniques. However, such application is limited, in large part, due to the lack of open datasets and benchmarking. To address this gap, we make the following contributions in this paper: (1) we systematically inject anomalies and collect raw execution logs from workflows executing on distributed infrastructures; (2) we summarize the statistics of new datasets, and provide insightful analyses; (3) we convert workflows into tabular, graph and text data, and benchmark with supervised and unsupervised anomaly detection techniques correspondingly. The presented dataset and benchmarks allow examining the effectiveness and efficiency of scientific computational workflows and identifying potential research opportunities for improvement and generalization. The dataset and benchmark code are publicly available \url{https://poseidon-workflows.github.io/FlowBench/} under the MIT License.

연구 동기 및 목표

• 계산 워크플로우에서 이상 탐지를 평가하기 위한 공개적이고 표준화된 벤치마크 데이터셋의 부족 문제를 해결하기 위해.
• 실제 과학 및 데이터 과학 워크플로우에 합성 장애를 주입하여 현실적이고 다양한 워크플로우 이상 데이터를 생성하기 위해.
• 표준형 및 그래프 구조 워크플로우 표현에 대해 최신 비지도 이상 탐지 기법의 성능을 평가하기 위해.
• 대규모 복잡한 워크플로우에 적용했을 때 기존 이상 탐지 기법의 한계와 확장성 문제를 규명하기 위해.
• 재현 가능한 연구 및 향후 워크플로우 이상 탐지 분야의 개발을 가능하게 하기 위해 공개된 MIT 라이선스 기반의 데이터셋과 코드베이스를 제공하기 위해.

제안 방법

• 분산 HPC 인fra에서 실행 중인 실제 과학 및 데이터 과학 워크플로우에 작업 지연, 실패, 자원 과부하 등의 이상을 체계적으로 주입하기 위해.
• USC, ANL, RENCI, ORNL 등의 시스템을 포함한 이질적이고 대규모 컴퓨팅 환경에서 워크플로우 실행의 원시 실행 로그를 수집하기 위해.
• 워크플로우 데이터를 표준형 및 그래프 구조 형식으로 변환하여, 그래프 기반 이상 탐지에 적합한 방향성 비순환 그래프(DAG)로 의존성 모델링하기 위해.
• PyOD 및 PyGOD 기법을 포함한 15종의 최신 비지도 이상 탐지 기법을 결과 데이터셋에서 벤치마크하기 위해.
• ROC-AUC, F1-score, 상위-k 정밀도, 메모리 효율성(예: 메모리 초과 오류) 등의 표준 지표를 사용해 기법을 평가하기 위해.
• 비교 분석 및 기법 개발를 지원하기 위해 신규 데이터셋과 기존 공개 데이터셋의 통계적 요약을 포괄적으로 제공하기 위해.

실험 결과

연구 질문

• RQ1 합성 이상이 포함된 실제 계산 워크플로우에 적용했을 때 기존 비지도 이상 탐지 기법의 효과성은 어떠한가?
• RQ2 대규모 워크플로우 데이터에서 현재 이상 탐지 기법의 확장성과 메모리 효율성에 대한 제약은 무엇인가?
• RQ3 F1-score 및 ROC-AUC와 같은 성능 지표는 시뮬레이션, 데이터 분석, 머신러닝 등 다양한 워크플로우 유형 간에 어떻게 달라지는가?
• RQ4 그래프 기반 표현과 표준형 표현 중 어느 것이 이상 탐지 성능 향상에 더 기여하는가?
• RQ5 제안된 벤치마크 데이터셋은 과학적 워크플로우를 위한 더 강건하고 일반화된 이상 탐지 모델 개발을 뒷받침할 수 있는가?

주요 결과

• LOF 및 OCSVM과 같은 표준 이상 탐지 기법들은 중간 크기의 워크플로우 데이터조차 처리할 때 메모리 초과(OOM) 오류를 겪어 확장성 문제를 드러낸다.
• 가장 높은 성능을 보인 KNN 기법은 데이터 과학 워크플로우에서 F1-score 0.663을 기록했지만, LOF 및 INNE와 같은 다른 기법들은 F1-score가 0.10 이하에 머물러 이상 탐지 성능이 열악함을 시사한다.
• GNN과 같은 그래프 기반 기법들은 전망을 보였지만, 일부 표준형 기법들에 비해 뒤처짐을 보여, 단순히 그래프 구조만으로는 효과적인 이상 탐지가 불가능할 수 있음을 시사한다.
• LMDD 기법은 시간 초과(TLE) 오류로 실패하여 특정 알고리즘들이 실제 계산 환경의 제약 조건 하에서 불안정함을 드러낸다.
• 데이터셋은 정상 인스턴스가 이상 인스턴스보다 훨씬 많아 심각한 클래스 불균형을 보이며, 이는 비지도 모델의 일반화 능력에 도전을 안긴다.
• 원시 로그 데이터는 NLP 기반 모델이 활용할 수 있는 풍부한 맥락 정보를 포함하고 있어, 향후 연구에서 그래프 및 표준형 표현을 넘어서는 길을 제시한다.