[论文解读] Revealing Neural Network Bias to Non-Experts Through Interactive Counterfactual Examples

Chelsea M. Myers, Evan Freed+4 more|arXiv (Cornell University)|Jan 7, 2020

Explainable Artificial Intelligence (XAI)参考文献 32被引用 8

一句话总结

本文介紹了 CEB，這是一種互動式可視化工具，透過使用反事實範例與聚類激活抽象，幫助非專家檢測神經網絡中的偏見。專家認為該工具直觀且有效，特別是透過路徑分數與視覺聚類來揭示偏見，但對於聚類形成方式與特徵控制的清晰度仍有改進空間。

ABSTRACT

AI algorithms are not immune to biases. Traditionally, non-experts have little control in uncovering potential social bias (e.g., gender bias) in the algorithms that may impact their lives. We present a preliminary design for an interactive visualization tool CEB to reveal biases in a commonly used AI method, Neural Networks (NN). CEB combines counterfactual examples and abstraction of an NN decision process to empower non-experts to detect bias. This paper presents the design of CEB and initial findings of an expert panel (n=6) with AI, HCI, and Social science experts.

研究动机与目标

• 讓非專家在無技術專長的情況下檢測神經網絡中的偏見。
• 解決目前缺乏能讓非 AI 用戶可見且易懂的演算法偏見檢測工具的問題。
• 探討反事實範例與基於激活的抽象是否能以使用者友好的方式有效揭示偏見。
• 透過專家反饋評估互動式工具的設計，以實現迭代改進。

提出的方法

• 工具 CEB 可視化在貸款申請資料上訓練的神經網絡的隱層激活。
• 將激活抽象為聚類，以減少資料過載，提升非專家的可解釋性。
• 透過翻轉單一特徵（例如性別）生成反事實範例，以顯示決策如何改變。
• 計算路徑分數，量化反事實應用時預測分數的變化，以突顯潛在偏見。
• 以自然語言描述總結聚類特徵，基於平均特徵值，協助使用者理解。
• 介面使用單一檢視進行路徑探索，並使用對比檢視來比較原始與反事實聚類。

实验结果

研究问题

• RQ1 非專家能否透過互動式反事實範例與激活抽象檢測神經網絡中的偏見？
• RQ2 將資料抽象為聚類在多大程度上支援非專家理解模型行為？
• RQ3 路徑分數與視覺提示是否有助於使用者識別與評估模型預測中的潛在偏見？
• RQ4 專家如何看待 CEB 對非專家使用之介面可用性與清晰度的評估？
• RQ5 為提升對聚類形成與特徵影響的理解，需要哪些設計改進？

主要发现

• 專家認為 CEB 使用直覺且具吸引力，其使用者介面設計類似引導式資料探索。
• 反事實範例有效突顯偏見，特別是當搭配量化預測變化之路徑分數時。
• 路徑分數在識別偏見方面至關重要，例如當將女性申請者反轉為男性後，其核准分數更高。
• 專家對聚類形成方式感到困惑，特別是不確定聚類是基於特徵還是激活，顯示需要更清晰的說明。
• 聚類的自然語言描述有助於使用者比較聚類，但也導致對聚類基礎的混淆。
• 專家建議增加對可翻轉特徵的控制，並明確說明偏見是否源自資料或模型架構。