[論文レビュー] Human-interpretable model explainability on high-dimensional data

Damien de Mijolla, Christopher Frye+3 more|arXiv (Cornell University)|Oct 14, 2020

Explainable Artificial Intelligence (XAI)参考文献 59被引用数 7

ひとこと要約

本稿では、フーリエ変換、分離表現、または画像対画像翻訳などの手法を用いて、元の入力を低次元で意味的な意味を持つ潜在空間にマッピングした後、予測をこれらの解釈可能な特徴に基づいて説明するための、人間が理解可能な説明フレームワークを提案する。このアプローチにより、画像分類に用いられるような複雑なモデルに対しても、理論的に根拠があり、計算的に実行可能で、ユーザーが理解可能な説明が可能となる。

ABSTRACT

The importance of explainability in machine learning continues to grow, as both neural-network architectures and the data they model become increasingly complex. Unique challenges arise when a model's input features become high dimensional: on one hand, principled model-agnostic approaches to explainability become too computationally expensive; on the other, more efficient explainability algorithms lack natural interpretations for general users. In this work, we introduce a framework for human-interpretable explainability on high-dimensional data, consisting of two modules. First, we apply a semantically meaningful latent representation, both to reduce the raw dimensionality of the data, and to ensure its human interpretability. These latent features can be learnt, e.g. explicitly as disentangled representations or implicitly through image-to-image translation, or they can be based on any computable quantities the user chooses. Second, we adapt the Shapley paradigm for model-agnostic explainability to operate on these latent features. This leads to interpretable model explanations that are both theoretically controlled and computationally tractable. We benchmark our approach on synthetic data and demonstrate its effectiveness on several image-classification tasks.

研究の動機と目的

• 高次元データにおけるモデルの説明を、計算的に実行可能かつ人間が理解可能な形で実現すること。
• ピクセル単位のサリエンシーマップなどの直感的でない高次元の説明を生じる既存のモデルに依存しない説明手法の限界を克服すること。
• 生の入力特徴ではなく、意味的な概念に基づいてモデルの予測を説明する、柔軟で原理的根拠のある方法を開発すること。
• 理論的に妥当なシャープレイフレームワークを、ユーザーが定義する低次元の意味的特徴空間と統合し、解釈可能性を向上させること。
• 実世界および合成データを含む、多様な画像分類ベンチマークでこのアプローチの有効性を示すこと。

提案手法

• フーリエ変換、分離表現、または画像対画像翻訳などのユーザー定義または学習された表現を用いて、高次元の生の入力を、低次元で意味的な意味を持つ潜在空間に変換する。
• モデルに依存しないアプローチを用いて、潜在特徴におけるシャープレイ値を計算し、理論的整合性を保ちつつ特徴間の相互作用を捉える。
• 再訓練を必要とせず、事前学習済みモデルや市販のコンponents（例：VAE、GAN、拡散モデル）を活用して意味的特徴を抽出する。
• 潜在空間にシャープレイフレームワークを適用し、各意味的特徴がモデルの予測にどの程度寄与しているかを定量化する。
• 既知の真値特徴を持つ合成データと、CelebA、MNIST、CIFAR-10、ImageNet、Describable Texturesなどの実世界データセットを用いて、手法を検証する。
• 特徴のトレースと対向評価を用いて、説明が説明手法のアーチファクトではなく、真のモデル行動を反映していることを確認する。

実験結果

リサーチクエスチョン

• RQ1 生の入力特徴を意味的な意味を持つ潜在特徴に置き換えることで、高次元データにおける人間が理解可能なモデルの説明を達成できるか？
• RQ2 低次元の意味的特徴空間にシャープレイフレームワークを適用することで、理論的厳密性を保ちつつ計算の実行可能性が向上するか？
• RQ3 フーリエ変換、分離、画像翻訳などの、意味的特徴を学習または定義するための異なる手法が、説明の質と解釈可能性にどのように影響するか？
• RQ4 説明が、微細または人間が感知できない特徴を含む状況において、実際にモデルの行動をどの程度反映しているか？
• RQ5 このフレームワークは、魅力度予測における性別や年齢関連のバイアスを検出し、説明できるか？

主な発見

• 本手法は、CelebAデータセットにおいて、性別、年齢、髪の色といった意味的な特徴に基づいて、モデルの予測を効果的に説明できた。特に、性別が魅力度予測に強い影響を与えていることが明らかになった。
• モデルは女性が男性よりも2倍以上魅力的と判定されやすいバイアスを示しており、これはシャープレイ説明によって明確に捉えられた。
• 視覚的変化が最小限の特徴（例：「若々しい」属性）でさえも予測に顕著な影響を与えていることが判明し、潜在空間のトレースによるモデル評価で裏付けられた。
• MNIST、CIFAR-10、ImageNet、Describable Texturesといった多様なデータセットにおいて、市販のモデルを用いて、本アプローチは頑健性と解釈可能性を示した。
• ピクセル単位のサリエンシーマップよりも、潜在特徴に基づく説明は、より解釈可能であった。これは、予測を低レベルのパターンではなく、高レベルの概念と直接結びつけることができたためである。
• 本フレームワークは、非自明な依存関係を効果的に捉えており、男性被験者において「若々しい」属性に負の局所シャープレイ値が観察された。これは、データ上では若々しさが逆の予測と関連していたことを示している。