[論文レビュー] Melody: Generating and Visualizing Machine Learning Model Summary to Understand Data and Classifiers Together

Gromit Yeuk-Yin Chan, Enrico Bertini+3 more|arXiv (Cornell University)|Jul 21, 2020

Explainable Artificial Intelligence (XAI)参考文献 64被引用数 12

ひとこと要約

MELODYは、情報理論を用いて局所的説明をクラスタリングすることで、追加のモデルやユーザーの機械学習の専門知識を必要とせずに、表形式、画像、テキストデータのあらゆる分野において機械学習モデルの包括的説明サマリーを生成する、革新的なインタラクティブなビジュアルアナリティクスシステムである。本手法は、ベースライン手法よりも高速かつコン act なサマリーを達成するとともに、エンドツーエンドのモデルデバッグおよび解釈ワークフローを支援する。

ABSTRACT

With the increasing sophistication of machine learning models, there are growing trends of developing model explanation techniques that focus on only one instance (local explanation) to ensure faithfulness to the original model. While these techniques provide accurate model interpretability on various data primitive (e.g., tabular, image, or text), a holistic Explainable Artificial Intelligence (XAI) experience also requires a global explanation of the model and dataset to enable sensemaking in different granularity. Thus, there is a vast potential in synergizing the model explanation and visual analytics approaches. In this paper, we present MELODY, an interactive algorithm to construct an optimal global overview of the model and data behavior by summarizing the local explanations using information theory. The result (i.e., an explanation summary) does not require additional learning models, restrictions of data primitives, or the knowledge of machine learning from the users. We also design MELODY UI, an interactive visual analytics system to demonstrate how the explanation summary connects the dots in various XAI tasks from a global overview to local inspections. We present three usage scenarios regarding tabular, image, and text classifications to illustrate how to generalize model interpretability of different data. Our experiments show that our approaches: (1) provides a better explanation summary compared to a straightforward information-theoretic summarization and (2) achieves a significant speedup in the end-to-end data modeling pipeline.

研究の動機と目的

• 表形式、画像、テキストデータの複数のデータタイプにわたり、包括的で使いやすい説明を提供するグローバルな要約を、局所的モデル説明の統合によって埋める。
• 任意の特徴量重要度に基づく説明手法に適用可能なスケーラブルでデータに依存しない要約技術を開発する。
• グローバル要約とローカルインスタンスレベルの検査を結びつけるインタラクティブなビジュアルアナリティクスシステム（MELODY UI）を設計し、モデル理解とデバッグを向上させる。
• ファイナンス、コンピュータビジョン、自然言語処理分野における多様な実世界のユースケースにおいて、本手法の有効性を実証する。

提案手法

• 本手法は、局所的説明の帰属値の類似性に基づいてインスタンスおよび特徴量をクラスタリングする情報理論的クラスタリングを用い、要約における情報損失を最小限に抑える。
• 行が類似したインスタンスのグループ、列が類似した特徴量のグループを表す共通クラスタリング可視化マトリクスを構築し、色の濃さで帰属強度を示す。
• アルゴリズムはスケッチ技術を採用し、大規模データセットへの効率的なスケーリングを実現し、再トレーニングや追加のモデル推論を伴わずにリアルタイムの要約を可能にする。
• MELODY UIは、要約をインタラクティブなフィルタリング、ブラシ操作、ドリルダウン機能と統合し、グローバルトレンドからローカルな反事実的要因まで、多様な粒度での分析を支援する。
• 動的クエリとサブセットの探索をサポートし、ユーザーが特定のパターン（例：誤分類、高影響特徴量）を隔離して詳細に検査できる。
• 本手法はモデルに依存せず、LIME、Grad-CAM、SHAPなどの既存の説明ツールの出力を入力として受け取り、それらと連携して動作する。

実験結果

リサーチクエスチョン

• RQ1 情報理論を用いて局所的説明からグローバルな説明サマリーを構築することで、モデルの挙動を保持しつつ複雑性を低減できるか？
• RQ2 提案された要約手法は、単純な情報理論ベースラインと比較して、コンパクトさと解釈可能性においてどのように優れているか？
• RQ3 MELODYシステムは、表形式、画像、テキストといった多様なデータタイプにおいて、効果的なエンドツーエンドのモデル分析を可能にするか？
• RQ4 インタラクティブなビジュアルアナリティクスインターフェースは、ユーザーのモデル意思決定およびデータ特性の理解をどの程度向上させるか？

主な発見

• MELODYは、単純な情報理論ベースラインよりもコンパクトで情報量の多い説明サマリーを生成し、冗長性を低減しながら重要な意思決定パターンを保持した。
• 迅速なグローバルな点検とターゲットされたローカル分析を可能にすることで、エンドツーエンドのデータモデリングパイプラインにおける処理速度を顕著に向上させた。
• 表形式のユースケースでは、モデルの意思決定論理が主に延滞履歴と外部リスク推定に依存しており、70％以上の予測がこれら2つの要因によって説明された。
• 画像分類タスクでは、MELODYにより、モデルが黄色い喉のバイエロが、特に黄色みがかった領域において青い翼のオオバトに類似した特徴を学習していたため、誤分類されていたことが判明した。
• テキスト分類のユースケースでは、'auto'、'bmw'、'ford'といった語がローン関連の苦情を強く予測する要因であることが特定され、これらの語を含むインスタンスでは93％の正答率を示した。
• MELODY UIのインタラクティブなフィルタリングおよびブラシ操作機能により、アナリストは高影響トピック（例：車両購入）を隔離して検証でき、これが顧客苦情の中心であることが確認された。