[논문 리뷰] Debiasing Concept-based Explanations with Causal Analysis

Mohammad Taha Bahadori, David Heckerman|arXiv (Cornell University)|2020. 07. 22.

Explainable Artificial Intelligence (XAI)참고 문헌 18인용 수 8

한 줄 요약

이 논문은 개념 기반 해석에서의 인과적 탈편향 방법을 제안하며, 도구 변수 문헌에서 유래한 이단계 회귀 기법을 사용하여 개념 표현에서 혼란 요인과 노이즈를 제거한다. 관측되지 않은 혼란 요인을 모델링하고 레이블을 도구로 활용함으로써, 특히 개념이 완전하지 않을 경우에도 합성 및 실세계 데이터셋에서 설명 품질과 예측 정확도를 향상시킨다.

ABSTRACT

Concept-based explanation approach is a popular model interpertability tool because it expresses the reasons for a model's predictions in terms of concepts that are meaningful for the domain experts. In this work, we study the problem of the concepts being correlated with confounding information in the features. We propose a new causal prior graph for modeling the impacts of unobserved variables and a method to remove the impact of confounding information and noise using a two-stage regression technique borrowed from the instrumental variable literature. We also model the completeness of the concepts set and show that our debiasing method works when the concepts are not complete. Our synthetic and real-world experiments demonstrate the success of our method in removing biases and improving the ranking of the concepts in terms of their contribution to the explanation of the predictions.

연구 동기 및 목표

• 관측되지 않은 혼란 요인 또는 개념 표현의 노이즈로 인해 발생하는 특징과 개념 간의 부도덕한 상관관계를 해결하기 위해.
• 잠재적 혼란 요인과 개념의 부족함이 개념 표현에 미치는 영향을 모델링하는 인과 사전 그래프를 개발하기 위해.
• 레이블을 도구 변수로 활용하여 혼란 요인의 영향을 제거함으로써 개념 기반 설명의 정밀도를 향상시키기 위해.
• 개념 블로킹 모델(CBM)과 TCAV에서 탈편향된 개념 벡터를 사용하여 레이블 예측 정확도를 향상시키기 위해.
• 지식 기반 데이터와 실세계 데이터셋인 CUB-200-2011과 같은 데이터셋에서 방법을 검증하여 개념 순위 매기기와 설명 품질 향상을 입증하기 위해.

제안 방법

• 관측되지 않은 혼란 요인이 특징, 개념, 레이블에 미치는 영향을 모델링하는 새로운 인과 사전 그래프를 제안하며, 개념의 부족함을 고려한다.
• 도구 변수 문헌에서 유래한 이단계 회귀 기법을 사용하여 레이블을 도구로 활용해 개념 표현을 탈편향한다.
• 첫 번째로, 레이블을 도구로 사용하여 혼란 요인을 제거한 탈편향된 개념을 추정한다; 두 번째로, 이러한 탈편향된 개념을 특징에서 예측한다; 세 번째로, 이를 사용하여 레이블을 예측한다.
• 개념의 완전성을 명시적으로 모델링하고, 개념 세트가 완전하지 않을 경우에도 방법이 효과를 유지함을 보여준다.
• 선택적으로, 개념이 포괄하지 못한 특징의 잔여 예측 정보를 식별함으로써 누락되거나 완전하지 않은 개념을 탐지할 수 있다.
• 개념 블로킹 모델(CBM)과 개념 활성화 벡터 테스팅(TCAV) 프레임워크 내에서 이 방법을 적용하여 해석 가능성과 예측 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 특징-개념 관계의 혼란 요인과 노이즈가 효과적으로 제거되어 개념 기반 설명의 품질이 향상되는가?
• RQ2 제안된 인과 사전 그래프가 관측되지 않은 혼란 요인과 개념의 부족함이 개념 표현에 미치는 영향을 어떻게 모델링하는가?
• RQ3 레이블을 도구 변수로 사용할 경우, 혼란 요인 존재 하에서 개념 복구 및 레이블 예측 정확도가 얼마나 향상되는가?
• RQ4 탈편향 방법이 모델 예측에 기여하는 진정한 기여도에 따라 개념 순위를 얼마나 더 정확하게 매기는가?
• RQ5 이 방법은 CUB-200-2011과 같은 실세계 비전 데이터셋에서 해석 가능성과 예측 성능을 향상시키는가?

주요 결과

• 지식 기반 데이터에서, 탈편향 방법은 혼란 요인과 노이즈 존재 하에서도 진정한 개념을 회복하는 데 있어 정확도가 크게 향상됨을 보였다.
• CUB-200-2011 데이터셋에서, 탈편향된 방법은 표준 개념 블로킹 모델보다 예측 기여도에 따라 개념을 더 정확하게 순위 매김함을 확인하였다.
• CBM에서 레이블 예측 정확도가 향상되었으며, 이는 특징과 개념 간의 부도덕한 상관관계의 영향이 감소했기 때문이다.
• 정성적 사례 분석을 통해 탈편향이 맥락 기반 아티팩트를 제거함으로써 더 충실하고 해석 가능한 개념 기반 설명을 가능하게 했다.
• 이단계 회귀 접근법은 개념이 완전하지 않을 경우에도 혼란 요인과 노이즈의 영향을 효과적으로 제거함을 입증하였다.
• 레이블을 도구로 사용함으로써, 혼란 요인에 의한 특징에서 진정한 예측 신호를 효과적으로 분리하여 모델의 해석 가능성을 향상시켰다.