[論文レビュー] (Un)reasonable Allure of Ante-hoc Interpretability for High-stakes Domains: Transparency Is Necessary but Insufficient for Comprehensibility

Kacper Sokol, Julia E. Vogt|arXiv (Cornell University)|Jun 4, 2023

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

この論文は、医療などのハイリスク分野におけるアンタ・ホック解釈可能性への過剰な依存を批判し、透明性だけでは理解可能性に十分ではないと主張する。本稿は、モジュラリティ、出自、ルーティング、推論タイプを統合した人間中心のフレームワークを提唱し、多様な聴衆に対して説明が真に理解可能であることを保証する。

ABSTRACT

Ante-hoc interpretability has become the holy grail of explainable artificial intelligence for high-stakes domains such as healthcare; however, this notion is elusive, lacks a widely-accepted definition and depends on the operational context. It can refer to predictive models whose structure adheres to domain-specific constraints, or ones that are inherently transparent. The latter conceptualisation assumes observers who judge this quality, whereas the former presupposes them to have technical and domain expertise (thus alienating other groups of explainees). Additionally, the distinction between ante-hoc interpretability and the less desirable post-hoc explainability, which refers to methods that construct a separate explanatory model, is vague given that transparent predictive models may still require (post-)processing to yield suitable explanatory insights. Ante-hoc interpretability is thus an overloaded concept that comprises a range of implicit properties, which we unpack in this paper to better understand what is needed for its safe adoption across high-stakes domains. To this end, we outline modelling and explaining desiderata that allow us to navigate its distinct realisations in view of the envisaged application and audience.

研究の動機と目的

• ハイリスク分野（例：医療）におけるアンタ・ホック解釈可能性についての曖昧さと合意の欠如に対処すること。
• 本質的に透明なモデルでも、非専門家の説明対象者にとって理解不能になる理由を特定すること。
• 理解可能性を透明性を超えて高めるための構造的枠組み（所望事項：モジュラリティ、出自、ルーティング、推論タイプ）を提唱すること。
• 説明のインサイトの源と処理方法に焦点を当てることで、アンタ・ホックとポスト・ホックの説明可能性の違いを明確にすること。
• 多様な聴衆に対して、単に透明であるだけでなく意味的に理解可能なXAIシステムの設計をガイドすること。

提案手法

• 機能的・構造的・聴衆ベースの基準を用いて、アンタ・ホック解釈可能性とポスト・ホック手法を区別することで、この概念を解体する。
• モジュラリティ、説明情報の出自（内生的 vs. 外生的）、インサイトのルーティング（透過性）、推論タイプ（人間的、アルゴリズム的、ハイブリッド）の4つの主要所望事項に基づくフレームワークを導入する。
• 説明インサイトがモデル構造（内生的）から、またはサロゲートモデル（外生的）から導かれる方法を分析し、真実性とトレーサビリティの重要性を強調する。
• ルール解釈、対照的生成、係数分析などの推論プロセスが、認知的負荷と解釈の正確性に与える影響を評価する。
• 出自–ルーティング軸に沿って技術をマップするスケールベースの説明可能性アプローチを提唱し、高透過性のアンタ・ホック手法と低透過性のポスト・ホック手法を区別する。
• 医療分野と決定木の事例研究を通じて、モデルの透明性がユーザーの理解を保証しないこと、特に推論が誤って割り当てられたり単純化されたりした場合に顕著であることを示す。

実験結果

リサーチクエスチョン

• RQ1 なぜアンタ・ホック解釈可能性は、安定した広く受け入れられた定義が存在しないにもかかわらず、しばしば優れたものと見なされるのか？
• RQ2 ハイリスク分野における非専門家の説明対象者にとって、モデルの透明性が理解可能性を保証する程度はどの程度か？
• RQ3 説明インサイトの出自とルーティングが、説明の信頼性と信頼性に与える影響は何か？
• RQ4 人間的、アルゴリズム的、またはハイブリッドな推論が、モデル出力を意味のある説明に変換するプロセスにおいて果たす役割は何か？
• RQ5 XAIシステムは、説明が単に透明であるだけでなく、多様な聴衆にとって理解可能であるように、どのように設計すべきか？

主な発見

• アンタ・ホック解釈可能性は、過剰に使われており曖昧な概念であり、透明性と理解可能性を混同することで、ハイリスク分野で期待の不一致を引き起こしている。
• 本質的に透明なモデルでも、非専門家ユーザーにとって理解不能になることがある。たとえば、決定木のルートスプリットを特徴量の重要性の指標だと誤解することがその例である。
• モデルから直接得られる内生的説明は、サロゲートモデルに依存する外生的説明よりも、出自の信頼性と透過性が高く、誤りのリスクが低い。
• 説明の背後にある推論プロセス（人間的、アルゴリズム的、ハイブリッド）は、その理解可能性に顕著な影響を与え、説明対象者の専門性と整合させる必要がある。
• 説明の出自とルーティングは信頼性に不可欠であり、内生的インサイトは、ポスト・ホックのサロゲートモデルに比べ、より高い透過性と低い歪みリスクを有する。
• 理解可能性を透明性の次元を超えて実現するには、モジュラリティ、聴衆に特化した推論、トレーサブルな情報ルーティングを統合した人間中心のアプローチが不可欠である。