[論文レビュー] Towards Faithful Multimodal Concept Bottleneck Models

Pierre Moreau, Emeline Pineau Ferrand+4 more|arXiv (Cornell University)|Mar 13, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

f-CBMは漏洩を意識した学習とKolmogorov–Arnold Networkヘッドを導入し、概念ボトルネックモデルを共同最適化して概念検出と漏洩削減を行いつつ、強いタスク精度を維持する忠実な多模態CBMを構築します。

ABSTRACT

Concept Bottleneck Models (CBMs) are interpretable models that route predictions through a layer of human-interpretable concepts. While widely studied in vision and, more recently, in NLP, CBMs remain largely unexplored in multimodal settings. For their explanations to be faithful, CBMs must satisfy two conditions: concepts must be properly detected, and concept representations must encode only their intended semantics, without smuggling extraneous task-relevant or inter-concept information into final predictions, a phenomenon known as leakage. Existing approaches treat concept detection and leakage mitigation as separate problems, and typically improve one at the expense of predictive accuracy. In this work, we introduce f-CBM, a faithful multimodal CBM framework built on a vision-language backbone that jointly targets both aspects through two complementary strategies: a differentiable leakage loss to mitigate leakage, and a Kolmogorov-Arnold Network prediction head that provides sufficient expressiveness to improve concept detection. Experiments demonstrate that f-CBM achieves the best trade-off between task accuracy, concept detection, and leakage reduction, while applying seamlessly to both image and text or text-only datasets, making it versatile across modalities.

研究の動機と目的

• 多模態CBMにおける忠実性を動機づけ、概念が正確に検出され、意図しないタスクまたは概念間情報を携えないようにする。
• 画像とテキストの入力を扱う統一CLIPベースの多模態CBMアーキテクチャを提案する。
• 学習時のタスク漏洩を最小化する微分可能な漏洩ロスを開発する。
• Kolmogorov–Arnold Network (KAN)をより表現力がありつつ解釈可能な最終予測ヘッドとして導入する。
• アプローチがモダリティ間でタスク精度、概念検出、漏洩削減の有利なトレードオフを達成することを示す。

提案手法

• CLIPベースのビジョン-ランゲージバックボーンを採用し、概念ボトルネック層（CBL）へ入力する多模態表現を抽出する。
• Kernel Density Estimation (KDE)によるタスク漏洩の微分可能な推定を最小化する漏洩意識の目的関数で訓練する。
• 標準の線形ヘッドをKAN層に置換し、概念からクラスへのマッピングの解釈性を保ちつつ表現力を向上させる。
• 分類損失、概念検出損失、漏洩損失を動的な損失スケーリングとコサインスケジュールで共に最適化し、漏洩正則化を段階的に有効化する。
• データセットをモダリティ固有の概念スコアを統合したサンプルごとの統一概念ベクトルに集約してモダリティ間でアノテーションする。

Figure 1 : Pareto frontier: concept detection accuracy versus aggregate leakage. The x-axis represents the average of task-related and inter-concept leakage as introduced in Section 2 , and the y-axis represents RMSE concept detection performance.

実験結果

リサーチクエスチョン

• RQ1 多模態概念ボトルネックモデルにおける漏洩（タスク漏洩および概念間漏洩）をどう測定・低減するか？
• RQ2 漏洩意識の学習目的は、タスクパフォーマンスを大幅には損なうことなく忠実性を改善できるか？
• RQ3 より表現力があり解釈可能な最終ヘッド（KAN）は、概念検出と下流精度を改善できるか？
• RQ4 f-CBMフレームワークを modality-specificな調整なしに画像のみ、テキストのみ、そして多模態に適用することは現実的か？
• RQ5 漏洩緩和とKANの統合が概念活性化品質とモデル解釈性に与える影響は？

主な発見

• f-CBMはデータセットとバックボーンを横断して、タスク精度、概念検出、漏洩削減の有利なバランスを達成する。
• 漏洩意識の学習目的は漏洩を大幅に低減しつつ、タスク性能を競争力のある水準で維持する。
• 線形ヘッドをKAN層に置換することで概念検出が大幅に改善され、タスク漏洩および概念間漏洩の両方を低減し、精度への影響は最小限。
• 漏洩ロスを訓練へ組み込むことで漏洩の意味のある削減と忠実性の向上が介入分析で示される。
• KANは非線形の概念からクラスへの mappingsを明らかにし、最終予測から概念を分離しつつ解釈性を維持する。
• 本手法は画像-テキスト、テキストのみ、そして多模態設定へ一般化可能であり、モダリティを超えた適用性を示す。

(a) Task leakage vs. concept detection accuracy. With $p$ as the $p$ -value of the one-tailed paired $t$ -test, *** $p<1$ %. "Low accuracy" stands for the reference baseline.