[論文レビュー] Investigating Bias in Image Classification using Model Explanations

Schrasing Tong, Lalana Kagal|arXiv (Cornell University)|Dec 10, 2020

Explainable Artificial Intelligence (XAI)参考文献 13被引用数 8

ひとこと要約

本稿では、顕著な感受性属性を用いない状況下で、モデルの説明（特にGrad-CAMおよびTCAV）が画像分類におけるバイアスを効果的に検出できるかを調査している。その結果、強いバイアスを持つモデルではバイアスの特徴を効果的に特定できるものの、バイアスの程度を正確に推定することはできず、新たなバイアスを導入する可能性があり、人的作業が大幅に必要となるため、公平性評価における実用的有用性は限定的であることが判明した。

ABSTRACT

We evaluated whether model explanations could efficiently detect bias in image classification by highlighting discriminating features, thereby removing the reliance on sensitive attributes for fairness calculations. To this end, we formulated important characteristics for bias detection and observed how explanations change as the degree of bias in models change. The paper identifies strengths and best practices for detecting bias using explanations, as well as three main weaknesses: explanations poorly estimate the degree of bias, could potentially introduce additional bias into the analysis, and are sometimes inefficient in terms of human effort involved.

研究の動機と目的

• 感受性属性のラベルが与えられていない状況下で、モデルの説明が画像分類におけるバイアスを効率的に検出できるかを評価すること。
• バイアスによって引き起こされる実際のパフォーマンス格差を反映する上で、Grad-CAMおよびTCAVの信頼性と忠実性を評価すること。
• 実世界の展開を念頭に置き、バイアス検出における説明の強み・弱みおよび最良の実践法を特定すること。
• 従来の手動監査および公平性指標と比較して、説明に基づくバイアス検出の効率性と正確性を比較すること。
• 訓練データの構成に応じてバイアスレベルが変化する際、説明がモデル行動の変化をどれほど頑健に反映できるかを調査すること。

提案手法

• 感受性属性（性別・人種）を制御したバランスの取れた、細かくラベル付けされた2つのデータセット（医師対看護師、バスケットボール選手対バレー選手）を収集した。
• バイアスの程度を強いものから最小限のものまで変化させた訓練データの構成を体系的に変更した。
• バイアスの程度を変化させたモデルに対してGrad-CAMおよびTCAVを適用し、バイアスの変化に伴う説明のパターンの変化を分析した。
• 感受性属性ラベルに依存せずに不正義を定量化するための運用上の公平性指標（例：M4、サブグループのパフォーマンス差）を定義した。
• 説明の解釈可能性と人的作業量を評価するため、人間による評価を実施し、手動監査と比較した。
• 特に、『性別』や『人種』といった概念が誤って相関関係を生じさせないかを検証するため、TCAVにおける概念選択のバイアス再現性を分析した。

実験結果

リサーチクエスチョン

• RQ1 Grad-CAMおよびTCAVは、感受性属性の明示的アクセスがなくても、画像分類モデルにおけるバイアスの存在を信頼性を持って検出できるか？
• RQ2 説明は、サブグループ間の不正義の程度やパフォーマンス格差をどれほど正確に推定できるか？
• RQ3 概念選択やセマンティックマッピングによって、説明メカニズムが新たなバイアスをどれほど導入するか？
• RQ4 説明を解釈するために必要な人的作業量は、細かくラベル付けされた監査データセットを整備するのと同等か、それ以下か？
• RQ5 訓練データにおけるバイアスレベルの変化に伴い、モデル行動の変化を説明がどれほど頑健に反映できるか？

主な発見

• Grad-CAMおよびTCAVの説明は、強いバイアスを持つモデルではバイアスの特徴を効果的に特定するが、相対的にバイアスの少ないモデルに対しても同様のパターンを生成するため、実際のバイアス度合いを推定するのは困難である。
• TCAVスコアは3:1および1:3のバイアス設定において、不正義と高い相関を示した（例：M4スコアが37.5%および32.5%）。しかし、すべてのバイアスレベルでパフォーマンス格差を一貫して反映したわけではない。
• 説明を解釈するために必要な人的作業量は、特に複数の属性を検出する必要がある場合、細かくラベル付けされた監査データセットを整備するのと同等であった。
• TCAVにおける『性別』という概念は、人種（例：白人）の高い代表性を内蔵しており、誤った相関関係を生じさせ、分析に追加のバイアスをもたらした。
• Grad-CAMの説明は、感受性属性と直接関係のない特徴（例：眼鏡、ユニフォームの番号）を強調することがあり、それらがバイアスの兆候であると誤解される場合があった。
• 本研究では、手動監査に比べて説明の有効性に顕著な利点は見られず、忠実性や一貫性の問題により、場合によっては説明の方が信頼性が低いことが判明した。