[論文レビュー] Exploring the Role of Machine Learning in Scientific Workflows: Opportunities and Challenges

Azita Nouri, Philip E. Davis+2 more|arXiv (Cornell University)|Oct 26, 2021

Scientific Computing and Data Management参考文献 138被引用数 7

ひとこと要約

本サーベイは、入力準備、実行、出力処理の各段階における科学的ワークフローへの機械学習（ML）の統合を調査し、スケジューリング、障害検出、データ管理、イン・サイト分析の最適化に向けたML手法を提案する。スケーラビリティ、信頼性、大規模な科学的ワークロードにおけるリアルタイム意思決定の面で、特に未解決の課題が存在する主な機会を同定する。

ABSTRACT

In this survey, we discuss the challenges of executing scientific workflows as well as existing Machine Learning (ML) techniques to alleviate those challenges. We provide the context and motivation for applying ML to each step of the execution of these workflows. Furthermore, we provide recommendations on how to extend ML techniques to unresolved challenges in the execution of scientific workflows. Moreover, we discuss the possibility of using ML techniques for in-situ operations. We explore the challenges of in-situ workflows and provide suggestions for improving the performance of their execution using ML techniques.

研究の動機と目的

• 入力準備、実行時管理、出力処理の各段階における機械学習が科学的ワークフロー実行をどのように向上させるかを分析すること。
• スケジューリング、耐障害性、I/Oオーバーヘッド、リソース管理といった、科学的ワークフロー実行における主な課題—MLが解決策を提供できる分野を特定すること。
• シミュレーション中にデータを分析することでI/Oボトルネックを軽減するイン・サイト科学的ワークフローにおけるMLの応用を調査すること。
• 科学的ワークフローマネジメントシステム（WMS）におけるパフォーマンス、スケーラビリティ、信頼性の向上に寄与するML手法を提案すること。
• 多目的スケジューリング、オンライン/オフライン学習、ワークフロー間でのモデル一般化といった、未解決の研究課題に対処すること。

提案手法

• 入力、実行、出力の各段階における科学的ワークフローにおける既存のML応用の体系的サーベイ。
• 入力準備段階におけるワークフロー構成、パrameterチューニング、モデル最適化に用いられるML手法の分類。
• 実行時タスク（スケジューリング、障害検出、I/Oおよびメモリ管理、パフォーマンス予測）に向けたMLベースのアプローチの分析。
• イン・サイトワークフローにおけるMLの評価、特にデータアクセスパターンの予測と能動的リソース割り当て。
• 監視データと履歴実行ログを活用して、リソース使用量推定および異常検出のためのMLモデルを学習すること。
• 動的設定、障害緩和、ワークフローの履歴追跡分析のためのML駆動意思決定フレームワークの提案。

実験結果

リサーチクエスチョン

• RQ1 機械学習は、科学的ワークフローにおけるパrameterチューニング、モデル最適化、ワークフロー構成の改善にどのように寄与できるか？
• RQ2 大規模な科学的ワークロードにおけるスケジューリング、障害検出、I/O/メモリ管理といった実行時課題に対して、効果的なML手法は何か？
• RQ3 機械学習は、イン・サイト科学的ワークフローのパフォーマンスと効率をどのように向上させることができるか？
• RQ4 特にスケーラビリティと信頼性の観点から、科学的ワークフロー実行へのML適用における主な制限要因と未解決の課題は何か？
• RQ5 機械学習は、科学的ワークフロー出力の再現可能性と履歴追跡をどのように支援できるか？

主な発見

• ML手法は、履歴データおよびリアルタイムデータに基づくリソース使用量予測とタスク配置最適化により、ワークフローのスケジューリングを顕著に改善する。
• MLは過去の実行履歴からパターンを学習することで、障害の早期検出を可能にし、ダウンタイムを削減し、耐障害性を向上させる。
• イン・サイトワークフローは、予測可能なデータアクセスモデリングによりMLを活用することで、I/Oオーバーヘッドを低減し、能動的なデータ準備を可能にする。
• 次元削減およびMLを用いたデータ圧縮により、データ集約型ワークフローにおけるデータ移動時間の短縮と効率の向上が達成される。
• MLモデルは、重要な入出力相関関係を特定でき、自動的な設定チューニングを可能にし、手動によるパrameter探索の削減を実現する。
• 進展は見られるものの、多様な科学的ワークフローおよび実行環境において、MLモデルのスケーラビリティ、解釈可能性、信頼性を確保する課題は依然として残っている。