[論文レビュー] Visual Analytics for Automated Model Discovery.

Dylan Cashman, Shah Rukh Humayoun+10 more|arXiv (Cornell University)|Sep 27, 2018

Data Visualization and Analytics参考文献 27被引用数 5

ひとこと要約

本論文は、自動機械学習（autoML）システムが生成するモデルに関する文脈的インサイトを提供することで、解釈可能性を向上させる、自動機械学習（autoML）モデル発見のためのビジュアルアナリティクスフレームワークを提案する。このフレームワークは、プロトタイプであるSnowcatとして実装され、複数のモデルを多様なデータおよびタスクにおいて比較分析できるように、既存のビジュアルアナリティクスアーキテクチャを拡張しており、ユーザーがモデルの違いやデータの関係性をより効果的に理解できるようにする。

ABSTRACT

A recent advancement in the machine learning community is the development of automated machine learning (autoML) systems, such as autoWeka or Google's Cloud AutoML, which automate the model selection and tuning process. However, while autoML tools give users access to arbitrarily complex models, they typically return those models with little context or explanation. Visual analytics can be helpful in giving a user of autoML insight into their data, and a more complete understanding of the models discovered by autoML, including differences between multiple models. In this work, we describe how visual analytics for automated model discovery differs from traditional visual analytics for machine learning. First, we propose an architecture based on an extension of existing visual analytics frameworks. Then we describe a prototype system Snowcat, developed according to the presented framework and architecture, that aids users in generating models for a diverse set of data and modeling tasks.

研究の動機と目的

• autoMLシステムが複雑なモデルを返すが説明を伴わないという、解釈可能性と文脈的インサイトの欠如に対処すること。
• 従来の機械学習におけるビジュアルアナリティクスとは異なり、自動モデル発見に特化したビジュアルアナリティクスフレームワークを構築すること。
• 多様なデータおよびモデリングタスクにわたる、autoMLが発見した複数のモデルの違いを比較・理解できるようにすること。
• Snowcatというシステムをプロトタイプ化し、評価することで、ビジュアルアナリティクスをautoMLワークフローと統合し、ユーザーの理解とモデル選択を向上させること。

提案手法

• autoMLモデル発見に特化したカスタムアーキテクチャを備えた、既存のビジュアルアナリティクスフレームワークを拡張し、モデル比較とデータ文脈に重点を置く。
• モデルのパフォーマンス、構造、特徴量の重要度を統合的かつインタラクティブな環境で表示する、マルチビュー可視化インターフェースを導入。
• 異なるデータ分布やモデル出力に応じて視覚的エンコーディングを調整することで、異種のデータタイプとモデリングタスクをサポート。
• フィルタリング、クラスタリング、モデルの特徴やデータパターンの強調表示を通じて、モデルのバリエーションのインタラクティブな探索を可能にする。
• autoMLパイプラインからの自動モデル生成を入力として活用し、ハイパーパrameterやパフォーマンスメトリクスなどのメタデータを視覚化に統合。
• 平行座標、散布図、階層的レイアウトなどのビジュアルアナリティクス技術を用いて、モデルおよびデータの関係性を表現。

実験結果

リサーチクエスチョン

• RQ1 ビジュアルアナリティクスは、autoMLシステムが生成するモデルの発見と解釈を支援するために、どのように適合させられるか？
• RQ2 ユーザーが複数のautoML生成モデルの違いを比較・理解できるようにするために、最適なビジュアルデザインパターンは何か？
• RQ3 ビジュアルアナリティクスシステムは、既存のautoMLパイプラインとどのように統合され、リアルタイムで実行可能なインサイトを提供できるか？
• RQ4 データの文脈は、ユーザーが複雑なautoMLモデルを解釈するのをどの程度支援するか？

主な発見

• Snowcatプロトタイプは、autoMLモデルの出力をビジュアルアナリティクスと効果的に統合し、パフォーマンス、構造、特徴量の重要度の観点から、複数のモデルを探索・比較できるようにした。
• Snowcatを用いることで、ユーザーは生のautoML出力よりも、モデルの違いやデータの関係性をよりよく理解した。
• ビジュアルフレームワークは多様なデータタイプおよびモデリングタスクに対応でき、さまざまな機械学習ワークフローへの適応性を示した。
• Snowcatのインタラクティブなビジュアル化により、モデルメトリクスだけでは明らかでない、モデルのトレードオフやデータパターンをユーザーが特定できるようになった。