[논문 리뷰] Towards Faithful Multimodal Concept Bottleneck Models

Pierre Moreau, Emeline Pineau Ferrand외 4명|arXiv (Cornell University)|2026. 03. 13.

Multimodal Machine Learning Applications인용 수 0

한 줄 요약

f-CBM은 누출 인지 학습과 Kolmogorov–Arnold Network(head)을 도입하여 개념 병목 모델(CBM)을 다중 모달에 걸쳐 faithful하게 만들고, 개념 탐지와 누출 감소를 공동 최적화하면서도 강한 작업 정확도를 유지합니다.

ABSTRACT

Concept Bottleneck Models (CBMs) are interpretable models that route predictions through a layer of human-interpretable concepts. While widely studied in vision and, more recently, in NLP, CBMs remain largely unexplored in multimodal settings. For their explanations to be faithful, CBMs must satisfy two conditions: concepts must be properly detected, and concept representations must encode only their intended semantics, without smuggling extraneous task-relevant or inter-concept information into final predictions, a phenomenon known as leakage. Existing approaches treat concept detection and leakage mitigation as separate problems, and typically improve one at the expense of predictive accuracy. In this work, we introduce f-CBM, a faithful multimodal CBM framework built on a vision-language backbone that jointly targets both aspects through two complementary strategies: a differentiable leakage loss to mitigate leakage, and a Kolmogorov-Arnold Network prediction head that provides sufficient expressiveness to improve concept detection. Experiments demonstrate that f-CBM achieves the best trade-off between task accuracy, concept detection, and leakage reduction, while applying seamlessly to both image and text or text-only datasets, making it versatile across modalities.

연구 동기 및 목표

• 개념이 정확하게 탐지되고 의도하지 않은 작업 정보나 상호 간 개념 정보를 담지 않도록 하여 다중 모달 CBM의 충실성을 촉진한다.
• 이미지와 텍스트 입력을 처리하는 CLIP 기반의 통합 다중 모달 CBM 아키텍처를 제안한다.
• 훈련 중 작업 누출을 최소화하기 위한 미분 가능한 누출 손실(leakage loss)을 개발한다.
• 더 표현력이 뛰어나면서도 해석 가능한 최종 예측 헤드로 Kolmogorov–Arnold Network (KAN)을 도입한다.
• 본 접근법이 모달리티 전반에 걸쳐 작업 정확도, 개념 탐지 및 누출 감소 사이에 우호적인 트레이드오프를 달성함을 입증한다.

제안 방법

• 다중 모달 표현을 추출하여 Concept Bottleneck Layer(CBL)로 전달하는 CLIP 기반 비전-언어 백본을 채택한다.
• Kernel Density Estimation(KDE)를 통해 작업 누출의 미분 가능 추정치를 최소화하는 누출 인식 objective로 학습한다.
• 개념-에서-클래스 매핑의 해석 가능성을 유지하면서 표현력을 높이기 위해 표준 선형 헤드를 Kolmogorov–Arnold Network(KAN)로 대체한다.
• 분류 손실, 개념 탐지 손실, 누출 손실을 함께 최적화하고 동적 손실 스케일링과 코사인 스케줄을 사용해 누출 규제를 점진적으로 활성화한다.
• 데이터셋에 모달리티별 개념 점수를 모아 샘플당 통합 개념 벡터로 합성하여 다중 모달 개념으로 주석화한다.

Figure 1 : Pareto frontier: concept detection accuracy versus aggregate leakage. The x-axis represents the average of task-related and inter-concept leakage as introduced in Section 2 , and the y-axis represents RMSE concept detection performance.

실험 결과

연구 질문

• RQ1 다중 모달 Concept Bottleneck Models에서 누출(작업 누출 및 개념 간 누출)을 어떻게 측정하고 감소시킬 수 있는가?
• RQ2 누출 인식 학습 목표가 작업 성능을 심각하게 해치지 않으면서 충실성을 향상시킬 수 있는가?
• RQ3 더 표현력이 있으면서 해석 가능한 최종 헤드(KAN)가 다중 모달 CBM의 개념 탐지 및 다운스트림 정확도를 향상시킬 수 있는가?
• RQ4 이미지 전용, 텍스트 전용, 다중 모달 등 다양한 모달리티에서 모달리티별 조정 없이 f-CBM 프레임워크를 적용하는 것이 가능한가?
• RQ5 누출 완화 및 KAN의 도입이 개념 활성화 품질과 모델 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• f-CBM은 데이터 셋과 백본 전반에서 작업 정확도, 개념 탐지 및 누출 감소 사이의 우호적 균형을 달성한다.
• 누출 인식 학습 목표가 누출을 크게 줄이는 동시에 경쟁력 있는 작업 성능을 유지한다.
• 선형 헤드를 KAN 레이어로 대체하면 개념 탐지 성능이 크게 향상되고 작업 누출 및 개념 간 누출이 모두 감소하며 정확도에 미미한 영향만 준다.
• 훈련에 누출 손실을 포함시키면 누출이 의미 있게 감소하고 간섭 분석(intervention analyses)에서 충실성이 향상된다.
• KAN은 비선형 개념-클래스 매핑을 명확히 하여 최종 예측으로부터 개념을 구분하는 데 도움을 주면서 해석 가능성을 유지한다.
• 이 방법은 이미지-텍스트, 텍스트 전용, 및 다중 모달 설정에 일반화되며 모달리티 간의 다재다능함을 시사한다.

(a) Task leakage vs. concept detection accuracy. With $p$ as the $p$ -value of the one-tailed paired $t$ -test, *** $p<1$ %. "Low accuracy" stands for the reference baseline.