[論文レビュー] Promises and Pitfalls of Black-Box Concept Learning Models

Anita Mahinpei, Justin Clark+3 more|arXiv (Cornell University)|Jun 24, 2021

Explainable Artificial Intelligence (XAI)参考文献 13被引用数 20

ひとこと要約

この論文は、ブラックボックス型概念学習モデル（CLMs）におけるソフト概念表現が、意図された概念以外の余分な情報を漏洩していることを明らかにし、タスクに無関係な学習や概念ホワイトニングといった緩和戦略ですら、解釈可能性を損なう要因となっていることを示している。著者らは、AUCのような標準的な純度指標が不十分であることを示し、残留相関による特徴量の重要度の誤認を引き起こす可能性があることを示す、洗練された評価手法を提案している。

ABSTRACT

Machine learning models that incorporate concept learning as an intermediate step in their decision making process can match the performance of black-box predictive models while retaining the ability to explain outcomes in human understandable terms. However, we demonstrate that the concept representations learned by these models encode information beyond the pre-defined concepts, and that natural mitigation strategies do not fully work, rendering the interpretation of the downstream prediction misleading. We describe the mechanism underlying the information leakage and suggest recourse for mitigating its effects.

研究の動機と目的

• ブラックボックス型概念学習モデル（CLMs）におけるソフト概念表現の情報漏洩の程度とメカニズムを調査すること。
• タスクに無関係な学習、非教師付き次元の追加、概念ホワイトニングといった既存の緩和戦略が、余分な情報漏洩を防ぐ効果があるかどうかを評価すること。
• AUCのような標準的な純度指標が、CLMsにおける概念の独立性を検証するのに不十分であることを示すこと。
• 潜在次元における下流予測タスクを用いて、隠れた情報漏洩を検出する新しい評価フレームワークを提案すること。
• 概念表現に残存する相関関係が原因で、下流モデルにおける解釈が誤って行われるリスクを強調すること。

提案手法

• 著者らは、ソフト概念出力（実数値の信頼度スコア）を持つ概念学習モデル（CLMs）を訓練し、その潜在表現に意図しない概念以外の情報漏洩が生じるかを分析している。
• 先行研究（Chen et al., 2020）に従い、潜在次元からの単一の活性化値に基づいてAUCスコアを用いて概念の純度を評価している。
• 個々の潜在次元を入力として各概念を予測することができる純度チェックニューラルネットワークを導入し、どの次元がどの概念を高精度で予測できるかをテストしている。
• 相関行列とコサイン類似度行列を用いて、標準的なCNNと概念ホワイトニング（CW）モデルの間の次元間依存関係を可視化している。
• 合成データおよび実世界のデータセット（フルーツ販売タスクを含む）を用いて、概念の精錬と漏洩の実例を提示している。
• CWモデルの最終層の重みを分析し、潜在次元に混合された情報が原因で、特徴量の重要度が誤って解釈される例（例：重み0.874の概念が、重み0.056の概念と同等に重要であるにもかかわらず、誤って高い重要度として評価される）を示している。

実験結果

リサーチクエスチョン

• RQ1 CLMsのソフト概念表現は、意図された概念以外の情報をどの程度含んでいるか？
• RQ2 タスクに無関係な学習や概念ホワイトニングといった標準的な緩和戦略が、なぜソフト表現における情報漏洩を完全に排除できないのか？
• RQ3 下流モデルが活性化マップの全情報を利用可能な状況下で、AUCベースの純度指標は、CLMsにおける概念の独立性を信頼できるものと見なせるか？
• RQ4 隠れた情報漏洩は、下流予測モデルにおける特徴量の重要度の解釈にどのように影響を与えるか？
• RQ5 標準的な指標が見逃す残留情報漏洩を検出できる代替の評価手法は何か？

主な発見

• 概念ホワイトニングやタスクに無関係な学習を施しても、ソフト概念表現を持つCLMsは依然として余分な情報を含んでおり、特に下流モデルが全活性化マップを利用する場合に顕著である。
• 個々の潜在次元のAUCスコアが0.95を超えていても、それが概念の純度を保証するものではなく、下流モデルが任意の次元（特に一致しないものでさえ）から95％以上の精度で概念を予測できることが示された。
• 相関行列とコサイン類似度の分析から、CWモデルで依然として顕著な次元間依存関係が確認され、残留情報漏洩が生じていることが示された。
• 合成されたフルーツ販売タスクでは、「グレープフルーツである」や「リンゴである」といった元の概念は予測不能であったが、精錬された部分概念「酸性のグレープフルーツ」や「小さなリンゴ」は完全な予測力を示し、概念の精錬の価値を実証した。
• 潜在次元に隠れた情報が存在するため、下流モデルの重みが誤って重要度を割り当てる例が観察された（例：重み0.874の概念が、重み0.056の概念と同等に重要であるにもかかわらず、誤って高い重要度として評価される）。
• 活性化マップの全空間的構造が利用可能である場合、単一の活性化値に基づくAUCスコアでの純度評価は不十分であることが示された。これは、解釈可能性を損なう情報漏洩を引き起こす要因となっている。