[論文レビュー] SUBPLEX: Towards a Better Understanding of Black Box Model Explanations at the Subpopulation Level

Jun Yuan, Gromit Yeuk-Yin Chan+6 more|arXiv (Cornell University)|Jul 21, 2020

Data Visualization and Analytics参考文献 86被引用数 9

ひとこと要約

SUBPLEX は、Jupyter ノートブック内に統合されたインタラクティブなビジュアルアナリティクスシステムであり、局所的なモデル解釈のクラスタリングと次元削減を用いて、ブラックボックス機械学習モデルのサブポピュレーションレベルでの解釈を可能にする。これは、モデルのデバッグ、特徴量選択、バイアス検出を支援するインタラクティブでユーザー中心の可視化を提供し、コーディングとビジュアルアナリシスワークフローの統合を強化することで、より深い洞察をもたらす。

ABSTRACT

Understanding the interpretation of machine learning (ML) models has been of paramount importance when making decisions with societal impacts such as transport control, financial activities, and medical diagnosis. While current model interpretation methodologies focus on using locally linear functions to approximate the models or creating self-explanatory models that give explanations to each input instance, they do not focus on model interpretation at the subpopulation level, which is the understanding of model interpretations across different subset aggregations in a dataset. To address the challenges of providing explanations of an ML model across the whole dataset, we propose SUBPLEX, a visual analytics system to help users understand black-box model explanations with subpopulation visual analysis. SUBPLEX is designed through an iterative design process with machine learning researchers to address three usage scenarios of real-life machine learning tasks: model debugging, feature selection, and bias detection. The system applies novel subpopulation analysis on ML model explanations and interactive visualization to explore the explanations on a dataset with different levels of granularity. Based on the system, we conduct user evaluation to assess how understanding the interpretation at a subpopulation level influences the sense-making process of interpreting ML models from a user's perspective. Our results suggest that by providing model explanations for different groups of data, SUBPLEX encourages users to generate more ingenious ideas to enrich the interpretations. It also helps users to acquire a tight integration between programming workflow and visual analytics workflow. Last but not least, we summarize the considerations observed in applying visualization to machine learning interpretations.

研究の動機と目的

• データサブセット全体にわたる説明の集約ではなく、個々のインスタンスやグローバル要約ではなく、サブポピュレーションレベルでのモデル解釈のギャップを埋めること。
• 特にモデルのデバッグ、特徴量選択、バイアス検出を支援する、インタラクティブなビジュアルアナリティクスシステムを通じて、現実の機械学習ワークフローを支援すること。
• ビジュアル解釈ツールを Jupyter ノートブック環境にシームレスに統合し、データサイエンティストの既存のプログラミングワークフローに合わせること。
• サブポピュレーションレベルでのモデル解釈の分析が、ユーザーの意味の構築および解釈能力をどのように向上させるかを調査すること。
• ハイレベルな概要とデータグループ全体におけるモデル行動の詳細な探索を両立できる、人間中心でインタラクティブなプラットフォームを提供すること。

提案手法

• システムは、局所的解釈ベクトル（例：LIME や SHAP の重み）に基づいてインスタンスをクラスタリングし、次元削減（例：t-SNE や UMAP）を適用してグループ化する。
• これらのサブポピュレーションを2次元のプロット空間に可視化し、ブラシ操作、フィルタリング、ドリルダウンなどのインタラクションを通じてクラスタの探索を可能にする。
• ツールは Jupyter ウィジェットとして実装されており、機械学習コードとの直接統合が可能で、コードと可視化の間でのデータ転送をシームレスに実現する。
• ユーザーはウィジェット内でクラスタリングおよび次元削減のアルゴリズムとパラメータを直接カスタマイズでき、再現性と制御性が向上する。
• システムは、サブポピュレーションごとの説明パターンの動的探索を可能とし、グループ間での一貫性や乖離した行動を特定できる。
• データサイエンティストとの反復的なデザインプロセスが、使いやすさとワークフロー統合を重視したインターフェースおよびインタラクションデザインを形成した。

実験結果

リサーチクエスチョン

• RQ1 サブポピュレーションレベルでのモデル解釈の分析は、ブラックボックスモデルの理解をどのように向上させるか？
• RQ2 Jupyter ノートブック環境にビジュアルアナリティクスを統合することで、データサイエンティストのモデル解釈ワークフローはどの程度向上するか？
• RQ3 ユーザーはサブポピュレーションのインサイトをどのように活用してバイアス検出、モデルデバッグ、特徴量選択を実施するか？
• RQ4 多次元プロットにおける局所的解釈の投影を解釈する際に、ユーザーが直面する課題は何か？
• RQ5 クラスタリングされた解釈のインタラクティブな探索は、単独の局所的またはグローバルな解釈と比較して、どのようにより洗練されたまたは革新的な解釈を可能にするか？

主な発見

• ユーザーは、サブポピュレーションレベルでの説明の探索が、モデル行動に関するより洞察に満ちた、あるいは革新的な解釈を生み出すのを促進したと報告した。
• Jupyter ノートブック環境へのビジュアルアナリティクスツールの統合により、プログラミングとビジュアルアナリシスのワークフローがより密接に統合され、使いやすさと効率性が向上した。
• データサイエンティストは、視覚的解釈に強い関心を示し、視覚化技術に不慣れであっても、初期使用後には肯定的なフィードバックを提供した。
• システムにより、サブポピュレーションごとの特徴量重要度のパターンを特定できるようになり、バイアス検出や特徴量選択に貢献した。
• 可視化から選択したデータポイントをエクスポートできる機能（例：ブラシ操作による選択）は、ネイティブな Python コードを用いた後続分析において価値があるとユーザーが評価した。
• 利点がある一方で、ユーザーは多次元プロットにおける距離やスケーリングの解釈に困難を抱えており、視覚的デザインにおけるユーザーのガイダンスの向上が求められることが示された。