[論文レビュー] PipelineProfiler: A Visual Analytics Tool for the Exploration of AutoML Pipelines

Jorge Piazentin Ono, Sonia Castelo+4 more|arXiv (Cornell University)|Apr 30, 2020

Machine Learning and Data Classification被引用数 5

ひとこと要約

PipelineProfiler は、Jupyter Notebook に統合されたインタラクティブなビジュアルアナリティクスツールであり、複数の AutoML システムが生成する機械学習パイプラインを、データサイエンティストが探索・比較・デバッグできるように支援する。複雑なパイプライン構造をサポートし、ワンホットエンコーディングを用いてプリミティブの使用状況とハイパーパrameterを可視化し、比較ビューと自動分析を提供することで、AutoML 評価および開発ワークフローにおける透明性と使いやすさを著しく向上させる。

ABSTRACT

In recent years, a wide variety of automated machine learning (AutoML) methods have been proposed to search and generate end-to-end learning pipelines. While these techniques facilitate the creation of models for real-world applications, given their black-box nature, the complexity of the underlying algorithms, and the large number of pipelines they derive, it is difficult for their developers to debug these systems. It is also challenging for machine learning experts to select an AutoML system that is well suited for a given problem or class of problems. In this paper, we present the PipelineProfiler, an interactive visualization tool that allows the exploration and comparison of the solution space of machine learning (ML) pipelines produced by AutoML systems. PipelineProfiler is integrated with Jupyter Notebook and can be used together with common data science tools to enable a rich set of analyses of the ML pipelines and provide insights about the algorithms that generated them. We demonstrate the utility of our tool through several use cases where PipelineProfiler is used to better understand and improve a real-world AutoML system. Furthermore, we validate our approach by presenting a detailed analysis of a think-aloud experiment with six data scientists who develop and evaluate AutoML tools.

研究の動機と目的

• 複雑でブラックボックス化された AutoML システムの理解とデバッグを支援すること。これらのシステムは、多様なプリミティブとハイパーパrameterを備えた大規模で多様なパイプラインを生成する。
• 異なるデータセットとパフォーマンス指標において、複数の AutoML システムを比較可能にすることで、適切なシステム選定と改善を可能にする。
• データサイエンティストおよび AutoML 開発者に、透明性とパイプライン生成および探索戦略に関する洞察を高めるためのインタラクティブでスクリプタブルなツールを提供する。
• Jupyter Notebook などの既存のデータサイエンス環境とシームレスに統合され、AutoML 出力の再現可能で拡張可能な分析を可能にする。
• エキスパートの使いやすさテストと実世界のユースケースを通じて、ツールの実用性を検証し、実際の AutoML 開発および評価プロセスにおける価値を示す。

提案手法

• ワンラインのコマンドにより Jupyter Notebook に統合され、馴染みのあるデータサイエンス環境内で AutoML パイプラインコレクションのインタラクティブな探索が可能になる。
• パイプラインマトリクス可視化を用い、各パイプラインのプリミティブ使用状況を、ワンホットエンコーディングされたハイパーパrameterとスコアとともに表示する。
• パイプライン比較ビューを採用し、上位パフォーマンスのパイプラインを並べて視覚的に比較可能にし、構造的およびパフォーマンス分析を支援する。
• プリミティブ寄与度ビューを提供し、プリミティブ使用状況とパイプラインパフォーマンス指標（例：F1 スコア）との相関を計算・可視化する。
• フィルタリング、ソート、パイプラインサブセットのエクスポートをサポートし、ターゲット分析と再現可能なワークフローを可能にする。
• スクリプタブルなインタラクションにより自動分析を可能にし、ユーザーがパイプラインコレクションに対してカスタムクエリや可視化を適用できるようにする。

実験結果

リサーチクエスチョン

• RQ1 ビジュアルアナリティクス技術は、AutoML システムが生成する複雑で多様なプリミティブを含む機械学習パイプラインの探索とデバッグをどの程度支援できるか？
• RQ2 統一された可視化フレームワークは、同じデータセットに対して複数の AutoML システムを比較分析可能にする程度はどの程度か？
• RQ3 データサイエンティストは、実世界の AutoML 開発および評価タスクにおいて、PipelineProfiler のようなツールの使いやすさと実用性をどのように評価するか？
• RQ4 多様なパイプライン構造において、プリミティブ使用状況とパイプラインパフォーマンス指標の関係を可視化することで、どのようなインサイトが得られるか？
• RQ5 ビジュアルアナリティクスツールは、既存のデータサイエンスワークフローにどのように統合され、AutoML パイプラインにおける再現性とインサイト生成を強化できるか？

主な発見

• PipelineProfiler は、平均システム使いやすさスコア（SUS）が 82.92 ± 12.37 を達成し、エキスパートユーザーからの高い使いやすさと受容性を示した。
• 思考 aloud 法による研究に参加した 6 名のデータサイエンティストが、PipelineProfiler がデバッグの深い洞察を可能にしたと報告した。具体的には、AutoML の探索戦略の逆設計が可能になった。
• 参加者たちは、Jupyter Notebook への統合が大きな利点であると強調した。これにより、即時利用が可能であり、カスタム分析のための高度なスクリプト処理も可能になった。
• プリミティブ寄与度ビューは、意味のある相関関係を効果的に特定した。例えば、ディープ・フェเจอチャ・シンセシス（Deep Feature Synthesis）が F1 スコアに対して最も高い相関を示した。これは、効果的なパイプラインコンponents を特定するうえで価値があることを示している。
• エキスパートは、ツールの採用に強い関心を示し、将来的な強化の提案として、自動データインジェクション用の API 統合を挙げた。
• このツールは、DAG やマルチエスティメーター パイプラインを含む複雑なパイプライン構造を効果的にサポートしており、従来のツールが固定された直列型テンプレートのみをサポートしていたという制限を克服した。