[論文レビュー] Revealing Neural Network Bias to Non-Experts Through Interactive Counterfactual Examples

Chelsea M. Myers, Evan Freed+4 more|arXiv (Cornell University)|Jan 7, 2020

Explainable Artificial Intelligence (XAI)参考文献 32被引用数 8

ひとこと要約

本論文では、反事後例と集約化された活性化抽象化を用いて、非専門家がニューラルネットワークのバイアスを検出するのを支援するインタラクティブ可視化ツールCEBを紹介する。専門家は、経路スコアと視覚的クラスタリングを通じて、特にバイアスを明らかにすることに、ツールの直感的で効果的な使い方を評価したが、クラスタ形成の仕組みや特徴量の制御に関する明確な説明が不足していることが指摘された。

ABSTRACT

AI algorithms are not immune to biases. Traditionally, non-experts have little control in uncovering potential social bias (e.g., gender bias) in the algorithms that may impact their lives. We present a preliminary design for an interactive visualization tool CEB to reveal biases in a commonly used AI method, Neural Networks (NN). CEB combines counterfactual examples and abstraction of an NN decision process to empower non-experts to detect bias. This paper presents the design of CEB and initial findings of an expert panel (n=6) with AI, HCI, and Social science experts.

研究の動機と目的

• 非技術的背景を持つ非専門家が、技術的専門知識なしにニューラルネットワークのバイアスを検出できるようにすること。
• アルゴリズムバイアスを非AIユーザーが理解しやすい形で可視化できるツールの不足を補うこと。
• 反事後例と活性化に基づく抽象化が、ユーザーフレンドリーな方法でバイアスを効果的に明らかにできるかを検証すること。
• 専門家のフィードバックを通じて、反復的改善が可能なインタラクティブツールの設計を評価すること。

提案手法

• CEBというツールは、ローン申請データで学習されたニューラルネットワークの隠れ層の活性化を可視化する。
• データの過負荷を軽減し、非専門家の解釈性を向上させるために、活性化をクラスタに抽象化する。
• 1つの特徴量（例：性別）を反転させることで反事後例を生成し、意思決定の変化を示す。
• 経路スコアを計算して、反事後例適用時の予測スコアの変化を定量化し、潜在的なバイアスを強調する。
• 平均特徴量値に基づいて自然言語による記述を生成し、ユーザーの理解を支援する。
• インターフェースは、経路の探索に特化した「単一表示」と、元のクラスタと反事後クラスタを対比する「比較表示」の2種類を採用する。

実験結果

リサーチクエスチョン

• RQ1 非専門家は、インタラクティブな反事後例と活性化の抽象化を用いて、ニューラルネットワークのバイアスを検出できるか？
• RQ2 データをクラスタに抽象化することは、非専門家のモデル動作理解をどの程度支援するか？
• RQ3 経路スコアと視覚的キーマーカーは、ユーザーがモデル予測の潜在的バイアスを特定・評価するのをどの程度支援するか？
• RQ4 専門家は、CEBの設計が非専門家利用を想定して、使いやすさと明確さの面でどのように評価するか？
• RQ5 クラスタ形成の理解と特徴量の影響を高めるために、どのような設計改善が必要か？

主な発見

• 専門家はCEBの使い勝手が良く、ガイド付きデータ探索に類似したUXであると評価した。
• 反事後例はバイアスを効果的に強調したが、特に予測スコアの変化を定量化する経路スコアと組み合わせた場合に顕著だった。
• 経路スコアはバイアスの特定に不可欠であり、例えば性別を反転させた場合に男性申請者が女性申請者よりも承認スコアが高くなるといった事例で顕著に効果を発揮した。
• 専門家はクラスタの形成方法について混乱しており、特にクラスタリングが特徴量に基づくのか、活性化に基づくのかが不明瞭だったため、より明確な説明の必要性が示された。
• クラスタの自然言語記述はユーザーがクラスタを比較するのを助けたが、同時にクラスタリングの根拠に関する誤解を招く要因にもなった。
• 専門家は、どの特徴量を反転させるかを制御できる機能の追加と、バイアスがデータに起因するのかモデルアーキテクチャに起因するのかを明確にする必要があると提言した。