[論文レビュー] Learning to Receive Help: Intervention-Aware Concept Embedding Models

Mateo Espinosa Zarlenga, Katherine M. Collins+4 more|arXiv (Cornell University)|Sep 29, 2023

Explainable Artificial Intelligence (XAI)Computer Science被引用数 3

ひとこと要約

この論文では、テスト時における概念干渉に応じて受容性を高めるためのエンドツーエンド干渉ポリシーを学習する、概念解釈性を備えたニューラルネットワークアーキテクチャである干渉認識概念埋め込みモデル（IntCEM）を紹介する。正則化された目的関数を用いて干渉軌道をシミュレートすることで訓練されるため、専門家フィードバックが適用された際、最先端のモデルを著しく上回る精度向上を達成する一方で、干渉なしでも競争力のある性能を維持する。

ABSTRACT

Concept Bottleneck Models (CBMs) tackle the opacity of neural architectures by constructing and explaining their predictions using a set of high-level concepts. A special property of these models is that they permit concept interventions, wherein users can correct mispredicted concepts and thus improve the model's performance. Recent work, however, has shown that intervention efficacy can be highly dependent on the order in which concepts are intervened on and on the model's architecture and training hyperparameters. We argue that this is rooted in a CBM's lack of train-time incentives for the model to be appropriately receptive to concept interventions. To address this, we propose Intervention-aware Concept Embedding models (IntCEMs), a novel CBM-based architecture and training paradigm that improves a model's receptiveness to test-time interventions. Our model learns a concept intervention policy in an end-to-end fashion from where it can sample meaningful intervention trajectories at train-time. This conditions IntCEMs to effectively select and receive concept interventions when deployed at test-time. Our experiments show that IntCEMs significantly outperform state-of-the-art concept-interpretable models when provided with test-time concept interventions, demonstrating the effectiveness of our approach.

研究の動機と目的

• テスト時における概念干渉に応じた受容性を高めるためのトレーニング時のインcentiveが不足している問題に対処すること。
• 干渉への受容性を明示的に訓練することで、専門家フィードバック下でのモデル性能を向上させること。
• 最適な干渉ポリシーをトレーニング中に学習できる微分可能でエンドツーエンドのフレームワークを構築すること。
• 干渉なしでも強力な性能を維持しつつ、干渉が適用された際に顕著な精度向上を達成すること。

提案手法

• IntCEMsは、概念を高次元埋め込みとして表現する概念埋め込みモデル（CEMs）に基づいており、微分可能に操作可能である。
• ポリシー勾配法を用いて、期待されるパフォーマンスを最大化するためにどの概念を干渉するかを決定する干渉ポリシーをエンドツーエンドで学習する。
• 損失関数に、学習済みポリシーから抽出されたシミュレート干渉シーケンス後に性能が低下した場合にペナルティを与える新しい正則化項を導入する。
• 干渉を微分可能演算としてモデル化することで、トレーニング中に干渉軌道を逆伝播可能にする。
• 二重目的のトレーニング体制により、予測精度と専門家フィードバックへの受容性を同時に最適化するアーキテクチャである。

実験結果

リサーチクエスチョン

• RQ1 明示的なトレーニングインcentiveを用いることで、モデルをテスト時における概念干渉にさらに受容的にすることができるか？
• RQ2 トレーニング中に干渉ポリシーを学習することは、専門家フィードバックが適用された際のパフォーマンス向上にどのように寄与するか？
• RQ3 提案手法は、干渉シナリオ下で既存の概念解釈性を持つモデルを上回る性能を発揮するか？
• RQ4 干渉なしでも強力なパフォーマンスを維持しつつ、フィードバック提供時に高い受容性を示せるか？

主な発見

• IntCEMsはテスト時干渉において最先端のパフォーマンスを達成し、MNIST-Add-Incompではベースラインと比較して平均4.5%の精度向上を達成した。
• CUB-Incompでは100%の干渉率で91.47%の精度を達成し、次に優れた手法よりも3.1ポイント高い。
• CelebAの50%干渉設定では、学習済みポリシーを用いて62.01%の精度を達成し、ランダム干渉と比較して10.5%の向上を示した。
• 干渉なしでも、IntCEMsは競争力のあるパフォーマンスを維持しており、MNIST-Addでは99.51%の精度を達成し、最良のベースラインと同等であった。
• 学習済み干渉ポリシーは、すべてのデータセットおよび干渉率において、ランダムおよびヒューリスティックなポリシー（例：CooP）を一貫して上回った。