[論文レビュー] Automated Machine Learning Service Composition

Felix Mohr, Marcel Wever+1 more|arXiv (Cornell University)|Sep 3, 2018

Service-Oriented Architecture and Web Services参考文献 16被引用数 3

ひとこと要約

本稿では、実行による品質評価を静的サービス品質指標に代えて用いることで、動的かつ階層的計画に基づく自動機械学習（Auto-ML）サービス構成のためのMLS-Planを提案する。実験により、複数のフレームワーク（WEKAとscikit-learn）のアルゴリズムを統合するサービス指向の構成手法が、特に複雑で現実世界に近いAuto-MLのシナリオにおいて、非サービス指向の手法よりも顕著に優れた性能を示すことが明らかになった。

ABSTRACT

Automated service composition as the process of creating new software in an automated fashion has been studied in many different ways over the last decade. However, the impact of automated service composition has been rather small as its utility in real-world applications has not been demonstrated so far. This paper presents ool, an algorithm for automated service composition applied to the area of machine learning. Empirically, we show that ool is competitive and sometimes beats algorithms that solve the same task but not benefit of the advantages of a service model. Thereby, we present a real-world example that demonstrates the utility of automated service composition in contrast to non-service oriented solutions in the same area.

研究の動機と目的

• 事前にトピックモデルや簡単な例に限定されていた手法とは異なり、現実世界の機械学習応用における自動的サービス構成の実用的価値を示すこと。
• サービス抽象化レイヤーを介して複数フレームワーク間の機械学習アルゴリズム統合を可能にする仕組みを提供することで、自動的サービス構成におけるギャップを埋めること。
• 分類精度と解の多様性という観点から、サービス指向の構成が非サービス指向のAuto-MLツールに比べて測定可能な利点をもたらすかどうかを評価すること。
• 検索戦略の影響を分離するために、マルチフレームワークアクセスの有無にかかわらずMLS-Planを比較することで、サービス指向設計の影響を明確にすること。
• 静的QoS指標が利用できない現実世界のAuto-MLパイプラインにおいて、実行に基づく品質評価が実用的かつ効果的であることを検証すること。

提案手法

• MLS-Planは、複雑なタスクを再帰的に原子的サービス操作に分解する階層的タスク計画（HTN）に機械学習パイプライン構成問題を還元する。
• プランナは、ベンチマークデータ上で候補パイプラインを実行し、分類精度を測定することで、それらを評価するブラックボックスの目的関数を用いる。
• WEKAとscikit-learnの両方のサービスを一等級のコンポーネントとして公開し、フレームワーク間をまたぐパイプライン構成を可能にする。
• 探索プロセスは静的QoS属性ではなく、実行済みパイプラインからの経験的性能フィードバックによって誘導され、動的でデータ依存の指標の最適化が可能になる。
• 古典的プランナが動的品質評価を処理する際に抱える制限を克服するため、反復的改善と性能フィードバックをサポートするカスタムプランナを実装している。
• 単一ライブラリ（WEKAのみまたはscikit-learnのみ）とマルチライブラリ（両方）の構成をサポートすることで、サービス構成の利点を分離して評価できる。

実験結果

リサーチクエスチョン

• RQ1 自動的サービス構成は、現実世界の分類タスクにおいて非サービス指向のAuto-MLツールを上回ることができるか？
• RQ2 サービス抽象化を介して複数の機械学習フレームワーク（例：WEKAとscikit-learn）のアルゴリズムを統合することで、パイプライン性能が向上するか？
• RQ3 マルチフレームワークアクセスによる拡大した探索空間は、自動パイプライン構成の性能と収束性にどのように影響するか？
• RQ4 ベンチマーク実行による精度測定という実行ベースの品質評価は、静的QoSに基づく最適化よりも効果的か？
• RQ5 サービス指向アーキテクチャは、モノリシックフレームワークソリューションと比較して、学習済みパイプラインの多様性と品質をどの程度向上させるか？

主な発見

• WEKAとscikit-learnの両方のサービスにアクセス可能なMLS-Planは、多数のデータセットで単一フレームワークバージョンを顕著に上回り、いくつかのケースで最も低い平均誤差率を達成した。
• サービス指向アプローチは、複数のデータセットで非サービス指向の対応手法に対して統計的に有意な改善を示し、フレームワーク間統合の実用的利点を裏付けた。
• 一部のケースでは、より大きな探索空間のため、探索に必要な時間が増加し、マルチライブラリ版が性能を発揮できなかった。これは、解の多様性と探索効率の間のトレードオフを示している。
• 全体的な結果から、サービス付きのMLS-Planが常に優れているわけではないものの、現実世界のAuto-MLシナリオの大部分において最良のパフォーマンスを発揮することが明らかになった。
• 経験的評価により、静的品質指標が利用不可または不適切な状況において、実行駆動の品質フィードバックが有効な最適化を可能にすることが確認された。
• 本研究は、異種のアルゴリズムライブラリを統一されたサービスインターフェースを通じて活用することで、自動的サービス構成が現実世界のAuto-MLにおいて実用的で価値のある技術である証拠を提供した。