[論文レビュー] Probabilistic Concept Bottleneck Models

Eunji Kim, Dahuin Jung+3 more|arXiv (Cornell University)|Jun 2, 2023

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

本稿では、確率的埋め込みを用いて概念予測における不確実性をモデル化する、新たな解釈可能な機械学習フレームワークである確率的コンセプトボトルネックモデル（ProbCBM）を提案する。視覚的文脈の変化に起因する概念の存在の曖昧性を捉えることで、説明の信頼性を向上させるとともに、不確実性を考慮した分類予測を可能にし、実証的結果によりロバストネスの向上と、不確実性に基づく概念の優先順位付けによる人的介入の有効性を示している。

ABSTRACT

Interpretable models are designed to make decisions in a human-interpretable manner. Representatively, Concept Bottleneck Models (CBM) follow a two-step process of concept prediction and class prediction based on the predicted concepts. CBM provides explanations with high-level concepts derived from concept predictions; thus, reliable concept predictions are important for trustworthiness. In this study, we address the ambiguity issue that can harm reliability. While the existence of a concept can often be ambiguous in the data, CBM predicts concepts deterministically without considering this ambiguity. To provide a reliable interpretation against this ambiguity, we propose Probabilistic Concept Bottleneck Models (ProbCBM). By leveraging probabilistic concept embeddings, ProbCBM models uncertainty in concept prediction and provides explanations based on the concept and its corresponding uncertainty. This uncertainty enhances the reliability of the explanations. Furthermore, as class uncertainty is derived from concept uncertainty in ProbCBM, we can explain class uncertainty by means of concept uncertainty. Code is publicly available at https://github.com/ejkim47/prob-cbm.

研究の動機と目的

• 視覚データにおける概念の存在の曖昧性に起因する、コンセプトボトルネックモデル（CBM）における信頼性の問題を解決すること。
• 部分的可視性や色の変化などの多様な視覚的文脈に起因する概念予測における不確実性をモデル化すること。
• 予測された概念に加えて、それらに関連する不確実性を含めた説明を提供することで、解釈可能性を向上させること。
• 概念レベルの不確実性から導かれる不確実性対応分類予測を可能にすること。
• 高不確実性の概念を特定することで、人的なモデル連携を効率的に支援すること。

提案手法

• ProbCBMは、各画像が決定論的ラベルではなく、概念埋め込みの確率分布にマッピングされる確率的埋め込みを用いて概念を表現する。
• モデルは二段階のアーキテクチャを採用しており、まず確率的概念埋め込みを予測し、次にそれらを統合して最終分類のためのクラス埋め込みを生成する。
• 概念の不確実性は、確率的埋め込みの分散を用いて定量化され、分散が大きいほど概念の存在に大きな曖昧性があることを示す。
• クラスの不確実性は、概念予測における不確実性から導かれるもので、予測の信頼性を概念レベルの不確実性によって説明可能にする。
• ユーザーが概念予測やその不確実性を固定できるようにすることで、モデルは概念干渉をサポートし、全体の不確実性を低減し、分類精度を向上させる。
• フレームワークは、分類のための交差エントロピー損失と、概念埋め込み内の不確実性構造を保持するための確率的整合性損失を用いて、エンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 既存のCBMフレームワークにおいて、視覚的文脈の多様性は、概念予測の曖昧性にどのように影響するか？
• RQ2 確率的概念埋め込みは、曖昧な視覚的手がかりに起因する概念の存在における不確実性を効果的にモデル化できるか？
• RQ3 概念の不確実性をモデル化することで、モデルの説明の信頼性はどの程度向上するか？
• RQ4 統一された確率的フレームワークにおいて、クラスの不確実性は概念レベルの不確実性によって意味的に説明可能か？
• RQ5 不確実性に基づく概念の優先順位付けは、人的介入によるモデル補正においてどの程度有効か？

主な発見

• ProbCBMは、欠損した身体部位や色のシフトなどの視覚的文脈の変化に起因する概念の不確実性を効果的にモデル化できており、曖昧なケースでは不確実性が顕著に上昇することが観察された。
• 特にランダムクロッピングなどのデータ拡張を施した際、不確実性推定値が顕著に上昇し、視覚的曖昧性が導入されたことが裏付けられた。
• 最大不確実性を持つ概念に対する干渉は、ランダムな順序での干渉よりも、分類精度の向上が速くかつ効果的であることが示された。
• 概念干渉後、クラスの不確実性が低下し、モデルの予測が是正されたことから、不確実性が人的ガイドドなモデル改訂に有効であることが実証された。
• 概念ラベルが不完全または一貫性がない場合でも、ProbCBMは不確実性をモデル化することで信頼性のある説明を維持し、完璧なラベル付けに依存しなくなることを示した。
• すべての誤分類された概念が不確実性に基づく順序で干渉された場合、分類精度が100%に達することが確認され、不確実性誘導補正の有効性が裏付けられた。