[論文レビュー] Multiple Workflows Scheduling in Multi-tenant Distributed Systems: A Taxonomy and Future Directions

Muhammad Hafizhuddin Hilman, Maria A. Rodriguez+1 more|arXiv (Cornell University)|Sep 14, 2018

Cloud Computing and Resource Management被引用数 6

ひとこと要約

本論文は、マルチテナント分散システムにおける複数のワークフローのスケジューリングについて、ワークロードの非均一性、リソースの調達、公平性、QoS などの課題に焦点を当て、包括的な分類体系とサーベイを提案する。スケジューリングの目的、環境、マルチテナント対応性といった次元に基づき、既存のアルゴリズムを分類し、研究の空白を特定し、クラウドおよびグリッドプラットフォームにおけるスケーラブルで効率的かつ安全なワークフローオchestration のための今後の研究を導く。

ABSTRACT

The workflow is a general notion representing the automated processes along with the flow of data. The automation ensures the processes being executed in the order. Therefore, this feature attracts users from various background to build the workflow. However, the computational requirements are enormous and investing for a dedicated infrastructure for these workflows is not always feasible. To cater to the broader needs, multi-tenant platforms for executing workflows were began to be built. In this paper, we identify the problems and challenges in the multiple workflows scheduling that adhere to the platforms. We present a detailed taxonomy from the existing solutions on scheduling and resource provisioning aspects followed by the survey of relevant works in this area. We open up the problems and challenges to shove up the research on multiple workflows scheduling in multi-tenant distributed systems.

研究の動機と目的

• マルチテナント分散システムにおける複数の科学的およびビッグデータワークフローのスケジューリングにおけるコアな課題を特定・分析すること。
• 異種ワークロードの管理、多様なQoS要件、複数のテナント間でのリソース競合の複雑さに対処すること。
• スケジューリングの目的（例：マケスパン、コスト、エネルギー）、環境（クラウド、グリッド、クラスタ）、マルチテナント対応性といった主要な次元に基づいて、既存のスケジューリングアルゴリズムを分類する構造的分類体系を提唱すること。
• 文献に登場する既存の解決策をサーベイおよび分類し、研究の空白を浮き彫りにし、スケーラブルで効率的なワークフロースケジューリングにおける今後の研究を導くこと。
• マルチテナントプラットフォーム内での公平性、エネルギー効率、プライバシー、およびIoT統合ワークフローに関する、新たな研究の方向性を提示すること。

提案手法

• スケジューリングの目的（例：マケスパン、コスト、エネルギー）、環境（クラウド、グリッド、クラスタ）、マルチテナント対応性といった次元に基づき、多次元分類体系を構築した。
• 提案された分類体系に従い、文献に登場する15以上もの既存のワークフロースケジューリングアルゴリズムを分類し、現在の研究動向と空白をマッピングした。
• リストベースのヒューリスティクス（例：MOHEFT、DPDS）や複数目的最適化技術を用いた、複数のワークフローを同時に処理するためのスケジューリング技法を分析した。
• 動的スケーリング、仮想化のオーバーヘッド管理、インフラストラクチャレベルの最適化（例：ライブマイグレーション）を含むリソース調達戦略を評価した。
• プライバシーに配慮したおよびセキュリティを統合したスケジューリングアプローチをレビューした。これには、同型暗号化やハイブリッドクラウド実行モデルが含まれる。
• IoT やデータ集約型ワークフローを含む新興ワークロードを検討し、ネットワークに配慮したおよび遅延に敏感なスケジューリング要件を強調した。

実験結果

リサーチクエスチョン

• RQ1 マルチテナント分散システムにおける複数の非均一なワークフローのスケジューリングにおける主な課題は何か？
• RQ2 既存のスケジューリングアルゴリズムは、共有環境における複数目的最適化（例：コスト、マケスパン、エネルギー）をどのように扱っているか？
• RQ3 複数のテナント間での公平性、隔離性、QoSの保証に関する現行研究における重要なギャップは何か？
• RQ4 パフォーマンスの低下を伴わずに、プライバシーやセキュリティをマルチワークフロースケジューリングに効果的に統合する方法は何か？
• RQ5 マルチテナントプラットフォームにおける新興ワークロード（例：IoT、リアルタイムデータ分析）に特有のスケジューリング要件は何か？

主な発見

• 既存の分類体系は、主に単一のワークフローまたはマルチテナントでない状況に焦点を当てており、マルチテナントかつマルチワークフロー環境における包括的分類のギャップが顕著である。
• MOHEFT や DPDS といったリストベースのヒューリスティクスは、低コストの事前処理オーバーヘッドのおかげで、マルチワークフロー環境における軽量でスケーラブルなスケジューリングに有望である。
• エネルギー効率の良いスケジューリングは、知的な負荷割り当てによってワークロードレベルで徐々に取り入れられているが、ライブマイグレーションのようなインフラストラクチャレベルの技術は依然として未活用に近い。
• プライバシーに配慮したスケジューリングは未だ発展途上であり、多くの解決策は単一のワークフローを対象としているか、コストとセキュリティのトレードオフに焦点を当てており、マルチテナント実行におけるデータ機密性の確保には至っていない。
• IoT やネットワーク集約型ワークフローには、帯域幅と遅延を優先する特殊なスケジューリングモデルが必要であり、これらは現在のフレームワークでしばしば無視されている。
• 現実のマルチテナントシステムにおいて、動的リソース調達、複数目的最適化、およびセキュリティ・エネルギー・パフォーマンスといったクロスレイヤーの関心事に対応できる統合的かつ適応的スケジューリングフレームワークの明確なニーズが存在する。