[論文レビュー] Concept Embedding Models: Beyond the Accuracy-Explainability Trade-Off

Mateo Espinosa Zarlenga, Pietro Barbiero+10 more|arXiv (Cornell University)|Sep 19, 2022

Data Stream Mining Techniques被引用数 35

ひとこと要約

各概念を高次元の埋め込みで表現する Concept Embedding Models (CEMs) を導入し、解釈性を保ちながら強いタスク精度を達成し、実験時の概念介入を効果的に可能にする。

ABSTRACT

Deploying AI-powered systems requires trustworthy models supporting effective human interactions, going beyond raw prediction accuracy. Concept bottleneck models promote trustworthiness by conditioning classification tasks on an intermediate level of human-like concepts. This enables human interventions which can correct mispredicted concepts to improve the model's performance. However, existing concept bottleneck models are unable to find optimal compromises between high task accuracy, robust concept-based explanations, and effective interventions on concepts -- particularly in real-world conditions where complete and accurate concept supervisions are scarce. To address this, we propose Concept Embedding Models, a novel family of concept bottleneck models which goes beyond the current accuracy-vs-interpretability trade-off by learning interpretable high-dimensional concept representations. Our experiments demonstrate that Concept Embedding Models (1) attain better or competitive task accuracy w.r.t. standard neural models without concepts, (2) provide concept representations capturing meaningful semantics including and beyond their ground truth labels, (3) support test-time concept interventions whose effect in test accuracy surpasses that in standard concept bottleneck models, and (4) scale to real-world conditions where complete concept supervisions are scarce.

研究の動機と目的

• ブラックボックス予測を超えて解釈可能な中間概念へと移行することで、AI に対する信頼を動機づける。
• 不完全な概念監視下での概念ボトルネックモデルにおける精度と解釈性のトレードオフに対処する。
• 概念ごとに高次元の埋め込みと概念ごとのデュアル意味状態を特徴とする新規アーキテクチャ (CEM) を提案する。
• 概念表現と概念ボトルネックにおける情報の流れを評価する指標を導入する。
• 限られた概念アノテーションの下で、CEMs が競争力のあるタスク精度と頑健な介入を達成することを示す。

提案手法

• 各概念について、活動状態と非活動状態を表す2つの埋め込みの混合を学習する。
• 2つの埋め込みの対から概念活性確率を生成する共通のスコアリング関数を計算する。
• 活性化確率に基づいて、2つの埋め込みの加重混合として最終的な概念埋め込みを構築する。
• タスク予測損失と概念予測損失を重みパラメータ alpha で結合した損失でエンドツーエンドに訓練する。
• 概念が修正されたときに活性化埋め込みへスワップすることでテスト時の介入を有効にする。
• 介入の有効性を高めるため、訓練時に介入を模擬する RandInt を導入して訓練を正則化する。

実験結果

リサーチクエスチョン

• RQ1 不完全な概念監督下で解釈性を犠牲にせず、CEMs は下流タスクの精度を向上させることができるか。
• RQ2 高次元の概念埋め込みは、スカラー/非教師付きボトルネックよりも、より忠実で実用的な概念表現を提供するか。
• RQ3 CEMs はテスト時の概念介入に対してより感度が高く、誤った介入に対しても頑健か。
• RQ4 新しい評価指標（CAS）や情報平面分析は、なぜ CEMs が精度と解釈性のトレードオフを緩和するのかを明らかにするのか。

主な発見

• CEMs は、概念監督なしの標準 DNN と比較してより良いまたは競争力のあるタスク精度を達成し、Boolean/Fuzzy CBMs を大きく上回る。
• CEMs は、概念表現が真の概念と少なくとも vanilla CBMs と同等以上に一致し、時にはハイブリッドを上回る。
• CEMs は有効なテスト時介入を可能にし、いくつかの設定で標準の概念ボトルネックを上回る介入性能を示す。
• RandInt 訓練は介入への反応性を向上させ、部分的または誤った概念修正の下で性能を向上させることができる。
• 情報平面分析は、埋め込みベースの CBM がより多くの入力情報を保持し、スカラー CBM に比べて情報ボトルネックを緩和することを示す。
• 定性的な可視化は、CEM の埋め込みが意味のある概念意味論と活性化およびタスクラベルによる階層的分離を捉えることを示す。