[논문 리뷰] Debiasing Concept Bottleneck Models with Instrumental Variables

Mohammad Taha Bahadori, David Heckerman|arXiv (Cornell University)|2020. 10. 04.

Explainable Artificial Intelligence (XAI)참고 문헌 17인용 수 5

한 줄 요약

이 논문은 개념 블로킹 모델(CBMs)에 대해 잠재된 혼동 변수(confounders)로 인한 편향을 줄이기 위해 고 instrumental variable (IV) 기법을 사용하는 인과적 탈편향 방법을 제안한다. 관측되지 않은 혼동 변수를 모델링하고 개념 집합의 완전성을 확보함으로써, 개념이 불완전한 경우에도 예측 해석 품질을 향상시킨다. 시뮬레이션 및 실세계 실험에서 우수한 개념 순위 매기기와 편향 감소를 입증한다.

ABSTRACT

Concept-based explanation approach is a popular model interpertability tool because it expresses the reasons for a model's predictions in terms of concepts that are meaningful for the domain experts. In this work, we study the problem of the concepts being correlated with confounding information in the features. We propose a new causal prior graph for modeling the impacts of unobserved variables and a method to remove the impact of confounding information and noise using the instrumental variable techniques. We also model the completeness of the concepts set and show that our debiasing method works when the concepts are not complete. Our synthetic and real-world experiments demonstrate the success of our method in removing biases and improving the ranking of the concepts in terms of their contribution to the explanation of the predictions.

연구 동기 및 목표

• 관측되지 않은 혼동 변수와 관련된 개념 특징으로 인해 모델의 해석 가능성에 손상이 가는 문제를 해결하기 위해.
• 숨겨진 혼동 변수를 고려함으로써 예측에 대한 개념의 진정한 영향을 분리하는 인과적 프레임워크를 개발하기 위해.
• 일반적인 실세계 제약인 개념 집합이 불완전할 경우에도 탈편향 방법의 강건성을 확보하기 위해.
• 노이즈와 혼동 변수로 인한 인과관계 없는 연관성 제거를 통해 개념 기반 설명의 신뢰성과 공정성을 향상시키기 위해.

제안 방법

• 관측되지 않은 혼동 변수가 개념 특징과 모델 예측에 미치는 영향을 모델링하는 인과적 사전 그래프를 도입한다.
• 도구 변수 기법을 적용하여 혼동 변수의 영향을 개념 표현에서 식별하고 제거한다.
• 개념 집합의 완전성이 도구 변수 접근의 타당성에 핵심 요소임을 모델링하여, 모든 관련 개념이 존재하지 않을 경우에도 방법의 효과성이 유지되도록 보장한다.
• 이중 단계 추정 절차를 사용한다: 첫 번째로 도구 변수가 개념에 미치는 영향을 추정하고, 두 번째로 이를 활용해 예측 모델을 보정한다.
• 인과 모델을 구성함으로써 도구 변수가 오차 항과 조건부 독립이지만 내생적 개념 특징과는 상관관계가 있도록 한다.
• 탈편향된 개념 표현을 CBM 프레임워크에 통합하여 공정하고 더 정확한 해석을 도출한다.

실험 결과

연구 질문

• RQ1 혼동 변수가 존재할 경우 도구 변수 기법이 개념 기반 해석에서 편향을 효과적으로 제거할 수 있는가?
• RQ2 개념 집합의 완전성이 제안된 탈편향 방법의 성능에 어떤 영향을 미치는가?
• RQ3 이 방법은 예측에 대한 진정한 기여도에 따라 개념 순위를 향상시키는가?
• RQ4 숨겨진 혼동 변수가 존재하는 시뮬레이션 및 실세계 데이터 환경에서 이 방법은 모델 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 혼동 요인으로부터 개념의 인과적 영향을 분리함으로써 개념 기반 해석의 편향을 성공적으로 감소시켰다.
• 개념 집합이 불완전한 경우에도 인과적 사전 그래프를 통해 누락된 개념의 영향을 모델링함으로써 효과성을 유지하였다.
• 가짜 연관성을 줄임으로써 개념 순위를 향상시켜 주요 개념을 더 정확하게 식별할 수 있도록 하였다.
• 시뮬레이션 데이터 실험에서는 기준 CBM 접근법 대비 편향 감소가 뚜렷하게 나타났다.
• 실세계 데이터셋에서는 설명 품질과 강건성이 향상되었으며, 개념 기여도가 실제 인과적 요인과 더 밀접하게 일치하였다.
• 도구 변수 접근법은 편향 완화와 예측 정밀도 측면에서 표준 CBM 학습 방식을 뛰어넘었다.