[論文レビュー] DeepCAVE: An Interactive Analysis Tool for Automated Machine Learning

René Sass, Eddie Bergman+3 more|arXiv (Cornell University)|Jun 7, 2022

Machine Learning and Data Classification被引用数 4

ひとこと要約

DeepCAVE は、実行中のハイパーパramータ最適化、ニューラルアーキテクチャサーチ、マルチファシリティ／マルチオブジェクティブ実行を監視・可視化・解釈可能にする、インタラクティブでリアルタイムの分析フレームワークである。実行中の分析を可能にするモジュラーなプラグインにより、パフォーマンス分析、設定の重要度、パレートフロントの可視化を動的に行える。主な貢献は、リアルタイム監視、マルチファシリティ最適化のサポート、および専門家・非専門家を問わず使いやすい解釈ツールである。

ABSTRACT

Automated Machine Learning (AutoML) is used more than ever before to support users in determining efficient hyperparameters, neural architectures, or even full machine learning pipelines. However, users tend to mistrust the optimization process and its results due to a lack of transparency, making manual tuning still widespread. We introduce DeepCAVE, an interactive framework to analyze and monitor state-of-the-art optimization procedures for AutoML easily and ad hoc. By aiming for full and accessible transparency, DeepCAVE builds a bridge between users and AutoML and contributes to establishing trust. Our framework's modular and easy-to-extend nature provides users with automatically generated text, tables, and graphic visualizations. We show the value of DeepCAVE in an exemplary use-case of outlier detection, in which our framework makes it easy to identify problems, compare multiple runs and interpret optimization processes. The package is freely available on GitHub https://github.com/automl/DeepCAVE.

研究の動機と目的

• AutoML システムのブラックボックス性による透明性および信頼性の欠如を解消すること。
• 実行中だけでなく、実行中におけるリアルタイムでインタラクティブな AutoML 最適化プロセスの分析を可能にすること。
• ディープラーニングにおける AutoML で一般的なマルチファシリティおよびマルチオブジェクティブ最適化ワークフローをサポートすること。
• あらゆる経験レベルのユーザーが利用可能な、直感的でわかりやすい可視化および解釈ツールを提供すること。
• インタラクティブでモジュラーな分析プラグインを通じて、人間を最適化プロセスに再統合し、ユーザーと AutoML の間のギャップを埋めること。

提案手法

• DeepCAVE は、ファイルシステムベースのデータコンバーターを介して、任意の AutoML オプティマイザに統合可能なモジュラーで拡張可能なフレームワークとして構築されている。
• 実行中に書き出されるオプティマイザ出力を継続的に読み込み・解析することで、リアルタイム監視を実現している。
• パフォーマンスの履歴、パレートフロント、ハイパーパramータの重要度（fANOVA および LPI を用いて）、設定の履歴を可視化するためのインタラクティブプラグインを含む。
• 共有可視化とインタラクティブフィルタリングを用いて、複数の最適化実行またはグループ間の比較を可能にしている。
• マウスオーバーやクリック時に自動生成されたコードスニペットや設定詳細を提供し、上位の設定を直接再利用可能にしている。
• オプティマイザに依存しない設計となっており、HPO、NAS、CASH など幅広い AutoML ワークフローをサポートしている。

実験結果

リサーチクエスチョン

• RQ1 完成を待たずに、ユーザーが AutoML 最適化プロセスの進行状況や挙動をリアルタイムで理解するにはどうすればよいか？
• RQ2 特定の AutoML 実行において、最も影響力のあるハイパーパramータとアーキテクチャ的選択は何か、そしてそれらがパフォーマンスにどのように影響するか？
• RQ3 マルチファシリティおよびマルチオブジェクティブ最適化の結果を、インタラクティブに効果的に可視化・比較するにはどうすればよいか？
• RQ4 インタラクティブな分析ツールは、特に安全が求められる応用分野において、AutoML 決定に対するユーザーの信頼と理解を向上させることができるか？
• RQ5 解釈用プラグインは、ユーザーが問題を検出したり、外れ値を特定したり、長時間にわたる最適化プロセス中にも的確な意思決定を下すのをどのように支援するか？

主な発見

• DeepCAVE は、実行中に AutoML 最適化プロセスをリアルタイムで監視可能にし、問題の早期発見や意思決定の支援を可能にした。
• フレームワークは、効率的で現実的な AutoDL ワークフローに不可欠なマルチファシリティおよびマルチオブジェクティブ最適化を効果的にサポートした。
• fANOVA および LPI プラグインを用いた分析により、異常検知タスクにおいて学習率、バッチサイズ、モデルアーキテクチャが最も影響力のあるハイパーパramータであることが同定された。
• パレートフロントの可視化により、精度、トレーニング時間、コストといった目的間のトレードオフを比較可能にし、適切な設定選択を支援した。
• クリック可能なポイントや自動生成されたコードスニペットといったインタラクティブ機能により、上位設定の再利用性とユーザビリティが顕著に向上した。
• 複雑な最適化ワークフローをサポートするリアルタイムでインタラクティブかつ拡張可能な分析機能を備える点で、従来のツール（CAVE や XAutoML）を上回った。