[論文レビュー] Towards Human Centered AutoML

Florian Pfisterer, Janek Thomas+1 more|arXiv (Cornell University)|Nov 6, 2019

Machine Learning and Data Classification参考文献 10被引用数 11

ひとこと要約

この論文は、解釈可能性、公平性、効率性といった複数の基準を自動機械学習システムに統合することで、人間中心のAutoMLのアプローチを提唱している。予測性能だけでなく、分野固有の好みを反映できるインタラクティブなインターフェースを提案し、予測性能以外の観点からのモデル選択を可能にしている。

ABSTRACT

Building models from data is an integral part of the majority of data science workflows. While data scientists are often forced to spend the majority of the time available for a given project on data cleaning and exploratory analysis, the time available to practitioners to build actual models from data is often rather short due to time constraints for a given project. AutoML systems are currently rising in popularity, as they can build powerful models without human oversight. In this position paper, we aim to discuss the impact of the rising popularity of such systems and how a user-centered interface for such systems could look like. More importantly, we also want to point out features that are currently missing in those systems and start to explore better usability of such systems from a data-scientists perspective.

研究の動機と目的

• 予測性能以外の要因、たとえば解釈可能性、公平性、効率性を無視する現在のAutoMLシステムの限界を是正すること。
• 既存のAutoMLツールに人間による介入機能が欠如していることが、実用的導入の主な障壁であると特定すること。
• 反復的フィードバックをサポートし、パイプライン探索中に予測性能以外の基準を組み込む redesigned AutoMLインターフェースを提案すること。
• 複雑で現実世界のデータサイエンスワークフローに適した、中間結果を公開しユーザーの干渉を許容するAutoMLシステムの必要性を強調すること。
• ブラックボックス最適化を超えて、分野の専門知識とユーザーの好みを自動化プロセスに組み込むことで、AutoMLをさらに発展させること。

提案手法

• 予測精度以外に、モデルサイズ、処理速度、解釈可能性といった複数の最適化基準を定義・調整できるインタラクティブなAutoMLインターフェースを提案する。
• 中間のパイプライン候補をユーザーに公開し、評価とフィードバックを受けることで、人間による改善を可能にする概念を導入する。
• auto-sklearn や TPOT といった既存のAutoMLフレームワークを活用するが、技術的および分野固有の基準における多目的最適化を可能にするように拡張する。
• 解釈可能性と公平性の指標を探索空間に統合し、トレードオフを明示的に考慮できるようにすることを強調する。
• 基準が曖昧または容易に定量化できない場合に特に、パイプライン探索プロセス中に人間のフィードバックループを活用することを奨奨する。
• 特に性能が唯一の目的でない状況において、ユーザー入力に基づく動的再構成を可能にするようにAutoMLシステムを拡張するよう求める。

実験結果

リサーチクエスチョン

• RQ1 予測精度、解釈可能性、推論速度といった、しばしば矛盾する複数の基準をサポートするようにAutoMLシステムを再設計するにはどうすればよいか？
• RQ2 基準が主観的または容易に定量化できない場合、データサイエンティストは自動パイプライン探索プロセスにおいてどのような役割を果たすべきか？
• RQ3 なぜ現在のAutoMLベンチマークは現実世界のデータサイエンスニーズを反映していないのか。評価を予測性能を超えてどのように拡張できるか？
• RQ4 AutoMLの途中結果をユーザーが可視化し、実際に行動可能にするにはどうすればよいか？
• RQ5 実際のデータサイエンティストが使いやすく信頼できるAutoMLシステムにするために、どのようなインターフェース設計原則が必要か？

主な発見

• 現在のAutoMLシステムは主に予測性能の最適化に注力しており、解釈可能性、公平性、モデル効率性といった重要な基準を無視していることが多い。
• データサイエンティストがデータクリーニングや前処理に費やす時間は、モデル構築に費やす時間よりも著しく長く、モデリング段階の自動化の向上が求められている。
• 既存のAutoMLツールには、ユーザーのフィードバックや中間結果の確認を可能にするメカニズムが欠如しており、複雑で現実世界のワークフローにおける使いやすさが制限されている。
• 多基準最適化は実用的導入に不可欠であり、精度を超えて低遅延や高い解釈可能性といった多様な要件を満たす必要がある。
• 中間パイプラインに対する人間による介入（フィードバック）は、自動化されたモデルの関連性と信頼性を著しく向上させることができる。
• 標準的なAutoMLベンチマークに公平性と透明性の指標が欠落しているため、生成されたモデルの信頼性と倫理的妥当性が損なわれている。