[論文レビュー] Interpretable Machine Learning: Moving From Mythos to Diagnostics

Valerie Chen, Jeffrey Li+3 more|arXiv (Cornell University)|Mar 10, 2021

Explainable Artificial Intelligence (XAI)参考文献 56被引用数 12

ひとこと要約

本論文は、曖昧で広範な用途事例から、明確に定義された特定の用途へと焦点を移すことで、解釈可能機械学習（IML）の診断的視点を提唱する。IML手法と特定の用途事例を結びつける分類法と、問題定義、手法選定、手法評価の3段階ワークフローを導入し、診断の厳密な検証を可能にすることで、研究者および実務家が、測定可能な実用性を持つように、手法と実世界のニーズを体系的につなげられるようにする。

ABSTRACT

Despite increasing interest in the field of Interpretable Machine Learning (IML), a significant gap persists between the technical objectives targeted by researchers' methods and the high-level goals of consumers' use cases. In this work, we synthesize foundational work on IML methods and evaluation into an actionable taxonomy. This taxonomy serves as a tool to conceptualize the gap between researchers and consumers, illustrated by the lack of connections between its methods and use cases components. It also provides the foundation from which we describe a three-step workflow to better enable researchers and consumers to work together to discover what types of methods are useful for what use cases. Eventually, by building on the results generated from this workflow, a more complete version of the taxonomy will increasingly allow consumers to find relevant methods for their target use cases and researchers to identify applicable use cases for their proposed methods.

研究の動機と目的

• IML手法の技術的目標と、実務家が主張する広範かつ曖昧な用途事例との間の継続的なギャップを是正すること。
• IMLのパラダイムを『万能薬』的思考から、特定の目的に特化し、厳密に検証された診断ツールとして扱うものへと転換すること。
• IML手法を明確に定義された具体的な用途事例にマッピングする形式的な分類法を構築し、関係性を明確にし、手法選定を支援すること。
• 研究者と利用者を結ぶために、問題定義、手法選定、手法評価の3段階ワークフローを確立し、IML手法を実用的診断として検証する体制を整えること。
• 進化し続ける証拠に基づく分類法を通じて、利用者が関連する手法を特定できるようにし、研究者が動機づけられる用途事例を特定できるようにすることで、広範な採用を促進すること。

提案手法

• IML手法を、古典的統計診断と同様に、モデル行動に関する特定のインサイトを提供する的を絞ったツールとして扱う診断的ビジョンを提唱する。
• IML手法と用途事例の両方を体系化する分類法を導入し、それらを明示的に結びつけることで、現在のギャップを明確にし、今後の開発をガイドする。
• 3段階のワークフローを実装する：(1) 研究者と利用者の協働により、明確に定義されたターゲット用途事例（TUC）を定義する；(2) 分類法または既存の手法-用途事例マッピングを用いて、候補となるIML手法を選定する；(3) 代理指標とシミュレーション／ユーザースタディーを用いて、選定された手法を評価する。
• シミュレーション評価を、制御されたアルゴリズム的手法として活用し、ユーザーの意思決定をシミュレートすることで、説明スコアと真値の相関を測定し、有用性を評価する。
• 人間による研究を実施し、実世界の判断タスク（例：モデル行動における誤った相関関係の検出）において、手法の有用性を検証する。
• 技術的目標と実用的有用性の整合性を検証するため、代理指標（例：忠実性）と実際のTUCにおけるパフォーマンスの相関を測定する。

実験結果

リサーチクエスチョン

• RQ1 IMLコミュニティは、技術的目標と、実務家が主張する高レベルかつ曖昧な用途事例とのギャップをどのように是正できるか？
• RQ2 IML手法をどれほど意味的に診断として扱うことができるか。また、モデル解釈における有用な診断を定義する基準は何か？
• RQ3 IML手法を明確に定義された具体的な用途事例にマッピングする体系的な分類法をどのように構築できるか？
• RQ4 研究者と利用者が共同でIML手法を定義・選定・検証できるワークフローは何か？
• RQ5 シミュレーションと人間評価をどのように活用することで、技術的忠実性指標を超えたIML手法の有用性を検証できるか？

主な発見

• 診断的ビジョンにより、IML手法が曖昧な問題に対する万能的解決策ではなく、モデル行動に関する特定のインサイトを提供する的を絞ったツールとして再定義される。
• 問題定義、手法選定、手法評価の3段階ワークフローにより、IML手法を診断として体系的に検証できる。
• シミュレーション評価により、研究者がユーザーの意思決定をアルゴリズム的にモデル化し、代理タスクにおける手法パフォーマンスを測定できる。これにより、人間のばらつきに起因するノイズが低減される。
• 人間による研究では、対向的説明やGrad-CAMといった手法が、データサイエンティストがモデルの誤った相関関係を効果的に検出できるのを支援することを示し、特定のTUCにおける有用性が検証された。
• 代理指標（例：忠実性）と実際のTUCにおけるパフォーマンスとの相関が、技術的目標と実用的有用性の整合性を検証するために不可欠である。
• 進化を続ける分類法により、利用者は自らの用途事例に適した手法を特定できるようになり、研究者は動機づけられる応用を特定できるようになる。これにより、手法開発と検証のフィードバックループが促進される。