[논문 리뷰] A Closer Look at the Intervention Procedure of Concept Bottleneck Models

Sungbin Shin, Yohan Jo외 2명|arXiv (Cornell University)|2023. 02. 28.

Explainable Artificial Intelligence (XAI)인용 수 9

한 줄 요약

본 논문은 개념 병목 모델(CBMs)에 대한 개선된 개입 전략을 분석하고 제안하며, 정보에 기반한 개념 선택이 같은 개입 예산 하에서 작업 정확도를 크게 향상시킬 수 있음을 보여주고 신뢰성 및 공정성의 함정을 강조합니다.

ABSTRACT

Concept bottleneck models (CBMs) are a class of interpretable neural network models that predict the target response of a given input based on its high-level concepts. Unlike the standard end-to-end models, CBMs enable domain experts to intervene on the predicted concepts and rectify any mistakes at test time, so that more accurate task predictions can be made at the end. While such intervenability provides a powerful avenue of control, many aspects of the intervention procedure remain rather unexplored. In this work, we develop various ways of selecting intervening concepts to improve the intervention effectiveness and conduct an array of in-depth analyses as to how they evolve under different circumstances. Specifically, we find that an informed intervention strategy can reduce the task error more than ten times compared to the current baseline under the same amount of intervention counts in realistic settings, and yet, this can vary quite significantly when taking into account different intervention granularity. We verify our findings through comprehensive evaluations, not only on the standard real datasets, but also on synthetic datasets that we generate based on a set of different causal graphs. We further discover some major pitfalls of the current practices which, without a proper addressing, raise concerns on reliability and fairness of the intervention procedure.

연구 동기 및 목표

• 다른 개념 선택 기준이 CBMs에서 개입 효과에 미치는 영향을 평가한다.
• 다양한 비용, 수준 및 데이터 조건에서 여러 개입 전략을 개발하고 평가한다.
• 훈련 방식과 개념 구상이 개입 결과에 어떤 영향을 미치는지 조사한다.
• 다양한 인과 그래프에 걸친 개입을 연구하기 위한 합성 데이터 프레임워크를 만든다.
• 신뢰성과 공정성과 관련된 현 개입 관행의 함정을 식별한다.

제안 방법

• 개념 예측기 g와 목표 예측기 f를 갖는 CBM을 정의한다: 먼저 hat{c}=g(x), 그다음 hat{y}=f(hat{c}).
• 개념 개입 대상 개념을 결정하기 위한 rand, ucp, lcp, cctp, ectp, eudtp 등의 다양한 개념 선택 기준을 s_i 점수로 제시한다.
• tau_i, tau_g, tau_f를 사용한 개입 비용을 분석하고 개입 절차의 전체 비용 표현을 도출한다.
• 개별 대 그룹; 단일 대 배치 수준의 다양한 수준에서의 개입과 개념 표현(soft, hard, samp)을 탐구한다.
• 다른 스킴(ind, seq, jnt, jnt+p)과 다른 개념화(soft, hard, samp)로 CBM을 학습시켜 개입과의 상호작용을 연구한다.
• 실제 데이터셋(CUB, SkinCon)과 인과 그래프로부터 생성된 합성 데이터를 사용하여 개입 전략의 견고성 및 일반화를 조사한다.

실험 결과

연구 질문

• RQ1 같은 개입 예산 하에서 서로 다른 개념 선택 기준이 CBMs의 개입 효과에 어떤 영향을 미치는가?
• RQ2 개입 수준(개별/그룹, 단일/배치)과 개념 표현이 작업 성능과 신뢰성에 어떤 영향을 미치는가?
• RQ3 훈련 전략과 개념 구상이 개입 효과성과 어떻게 상호 작용하는가?
• RQ4 데이터 특성(노이즈, 숨겨진 개념, 개념 다양성)이 개입 결과에 미치는 영향은 무엇인가?
• RQ5 현 개입 관행에서 어떤 신뢰성과 공정성의 함정이 발생하며 이를 어떻게 완화할 수 있는가?

주요 결과

• 정보에 입각한 개입 전략은 같은 수의 개입된 개념으로도 현재 기준선과 비교하여 작업 오차를 열 배 이상 감소시킬 수 있다.
• CUB에서 무작위 개입으로 20개의 개념을 수정하면 작업 오차가 <4% 감소하고, 불확실성 기반 선택(ucp)을 사용하면 12개 수정된 개념으로 비슷한 이점을 얻는다.
• SkinCon에서는 ectp 전략이 개입을 주도하는 경우가 많지만 이득은 CUB보다 작다; ground-truth 개념 정보가 이용 가능할 때 lcp가 좋은 성능을 보인다.
• 개입 전략의 효과성은 데이터 특성과 개입의 세분성에 의존하며, 합성 데이터 실험에서 데이터 그래프가 결과에 크게 영향을 주는 것으로 나타났다.
• 개입이 역효과를 낼 수 있다: 무효 개념을 무효화하는(nvc) 방법은 작업 오차를 증가시킬 수 있고, 다수결은 소수 집단에 대한 예측을 편향시킬 수 있어 신뢰성과 공정성 문제가 대두된다.
• 훈련 전략은 개입과 상호작용한다; 일반적으로 ind 훈련이 가장 큰 이점을 제공하고, seq/jnt는 데이터와 개념에 따라 이점을 감소시키거나 무효화할 수 있다.