[論文レビュー] Trust in AutoML: Exploring Information Needs for Establishing Trust in Automated Machine Learning Systems

Jaimie Drozdal, Justin D. Weisz+7 more|arXiv (Cornell University)|Jan 17, 2020

Ethics and Social Impacts of AI参考文献 44被引用数 23

ひとこと要約

本研究は、自動機械学習（AutoML）システムにおける透明性の特徴が、データサイエンティストの信頼性と理解可能性にどのように影響するかを調査する。3つの研究（インタビュー、制御実験、カード・ソーティング）を通じて、モデルのパフォーマンス指標と可視化が、AutoMLツールにおける信頼性と理解の向上に最も重要であることが判明。信頼性と理解の両方を顕著に高める。

ABSTRACT

We explore trust in a relatively new area of data science: Automated Machine Learning (AutoML). In AutoML, AI methods are used to generate and optimize machine learning models by automatically engineering features, selecting models, and optimizing hyperparameters. In this paper, we seek to understand what kinds of information influence data scientists' trust in the models produced by AutoML? We operationalize trust as a willingness to deploy a model produced using automated methods. We report results from three studies -- qualitative interviews, a controlled experiment, and a card-sorting task -- to understand the information needs of data scientists for establishing trust in AutoML systems. We find that including transparency features in an AutoML tool increased user trust and understandability in the tool; and out of all proposed features, model performance metrics and visualizations are the most important information to data scientists when establishing their trust with an AutoML tool.

研究の動機と目的

• データサイエンティストのAutoMLシステムに対する信頼性に影響を与える情報の種類を理解すること、特にモデルのデプロイ意思決定において。
• 情報的視点から信頼形成を捉え、AutoMLツールにおける透明性と理解可能性がユーザーの信頼に与える影響を調査すること。
• 信頼を確立するために、AutoMLユーザインターフェースにおける情報特徴のうち最も重要で、最も重要でないものを特定すること。
• 特にハイリスク分野において、AutoMLツール自体を信頼することと、その生成したモデルを信頼することの違いを明らかにすること。
• 信頼できるAutoMLシステムの設計を支援するため、ユーザーの自信と理解を高める実行可能な透明性特徴を同定すること。

提案手法

• 商業的なAutoMLツールに存在する情報と欠落している情報を特定する目的で、データサイエンスの学生を対象に半構造化インタビューを実施。これにより、透明性特徴の基礎が構築された。
• 透明性特徴を追加したAutoMLインターフェースと追加しないものとを比較する制御実験を実施。信頼性と理解可能性の評価を測定。
• 22の情報特徴を重要度順にランク付けするオープンなカード・ソーティングタスクを実施。AutoMLシステムに対する信頼を確立するための情報の重要度を評価。
• 実世界の意思決定文脈に合わせ、信頼を「AutoMLが生成したモデルをデプロイする意思」として操作的定義。
• カード・ソーティングからの定量的ランキングと定性的フィードバックを統合し、モデルパフォーマンス、特徴工学、ハイパーパramータ最適化などの特徴の相対的重要性を評価。
• 複数の研究結果を統合して分析し、情報ニーズのパターンを特定。透明性特徴が信頼性と理解可能性に与える影響に注目。

実験結果

リサーチクエスチョン

• RQ1 新規の透明性特徴の追加が、AutoMLシステムに対する信頼性と理解にどの程度影響を与えるか。
• RQ2 AutoMLシステムに対する信頼を確立するために、どの情報が極めて重要で、どの情報がそれほど重要でないか。
• RQ3 データサイエンティストの信頼感覚は、AutoMLツール自体とその生成するモデルの間でどのように異なるか。
• RQ4 ローン承認と研究志向のモデル開発といった、異なる使用状況において、信頼のための情報ニーズはどのように変化するか。
• RQ5 初期の信頼形成と長期的な信頼維持は、AutoMLシステムにおいてどのように異なり、それぞれを支える情報は何か。

主な発見

• 透明性特徴の追加により、制御実験の結果が示すように、ユーザーの信頼性と理解可能性が顕著に向上した。
• モデルパフォーマンス指標と可視化は、信頼を確立する上で最も重要な情報特徴であり、カード・ソーティングタスクで最も高い平均順位を得た。
• 特徴工学の詳細とモデル説明の可視化も高く評価され、上位5つの最も重要な特徴のうちの一つにランクされた。
• ハイパーパramータ最適化や探索アルゴリズムに関する情報は、平均順位が最低であった。初期段階の信頼形成においてはそれほど重要ではないが、研究的文脈では依然として関連性がある。
• 参加者らは、モデルの正確性が低くても、AutoMLツール自体には信頼できると述べており、システム自体とその出力の信頼に違いがあることを示唆している。
• 信頼形成は文脈依存的であり、ユーザーがツールと相互作用するに従い情報ニーズが変化することが示された。初期の信頼と持続的な信頼には、異なる透明性特徴が必要である可能性がある。