[논문 리뷰] Probabilistic Concept Bottleneck Models

Eunji Kim, Dahuin Jung외 3명|arXiv (Cornell University)|2023. 06. 02.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 확률적 임bedding를 사용하여 개념 예측의 불확실성을 모델링하는 새로운 해석 가능한 기계학습 프레임워크인 Probabilistic Concept Bottleneck Models (ProbCBM)를 제안한다. 시각적 맥락의 변동으로 인한 개념 존재성의 모호성을 포착함으로써 ProbCBM는 설명의 신뢰도를 향상시키고, 불확실성 인식 기반의 클래스 예측을 가능하게 하며, 실험 결과를 통해 강건성 향상과 불확실성 기반 개념 우선순위 정렬을 통한 효과적인 인간-모델 상호작용을 입증한다.

ABSTRACT

Interpretable models are designed to make decisions in a human-interpretable manner. Representatively, Concept Bottleneck Models (CBM) follow a two-step process of concept prediction and class prediction based on the predicted concepts. CBM provides explanations with high-level concepts derived from concept predictions; thus, reliable concept predictions are important for trustworthiness. In this study, we address the ambiguity issue that can harm reliability. While the existence of a concept can often be ambiguous in the data, CBM predicts concepts deterministically without considering this ambiguity. To provide a reliable interpretation against this ambiguity, we propose Probabilistic Concept Bottleneck Models (ProbCBM). By leveraging probabilistic concept embeddings, ProbCBM models uncertainty in concept prediction and provides explanations based on the concept and its corresponding uncertainty. This uncertainty enhances the reliability of the explanations. Furthermore, as class uncertainty is derived from concept uncertainty in ProbCBM, we can explain class uncertainty by means of concept uncertainty. Code is publicly available at https://github.com/ejkim47/prob-cbm.

연구 동기 및 목표

• 시각 데이터에서의 개념 존재성의 모호성으로 인한 개념 봉쇄 모델(CBM)의 신뢰성 문제를 해결하기 위해.
• 부분적 가림이나 색상 변화와 같은 다양한 시각적 맥락으로 인해 발생하는 개념 예측의 불확실성 모델링을 위해.
• 예측된 개념뿐만 아니라 그에 연관된 불확실성까지 기반으로 설명을 제공함으로써 해석 가능성 향상을 위해.
• 개념 수준의 불확실성에서 유도된 불확실성 인식 기반의 클래스 예측을 가능하게 하기 위해.
• 높은 불확실성의 개념을 식별하여 효율적인 개입을 가능하게 함으로써 인간-모델 상호작용을 지원하기 위해.

제안 방법

• ProbCBM는 각 이미지를 결정론적 레이블이 아닌 개념 임bedding의 분포로 매핑하는 확률적 임bedding를 사용하여 개념을 표현한다.
• 모델은 두 단계 아키텍처를 사용한다: 먼저 확률적 개념 임bedding를 예측하고, 이를 바탕으로 클래스 임bed딩로 집계하여 최종 분류를 수행한다.
• 개념 불확실성은 확률적 임bedding의 분산을 사용하여 정량화되며, 높은 분산은 개념 존재성에 대한 더 큰 모호성을 나타낸다.
• 클래스 불확실성은 개념 예측의 불확실성에서 유도되며, 개념 수준의 불확실성으로 예측 신뢰도를 설명할 수 있다.
• 사용자가 개념 예측 또는 그 불확실성을 고정할 수 있도록 허용함으로써 개념 간섭을 지원하며, 이는 총 불확실성을 감소시키고 분류 정확도를 향상시킨다.
• 프레임워크는 분류를 위한 교차 엔트로피 손실과 개념 임bed딩의 불확실성 구조를 유지하는 데 사용되는 확률적 일致성 손실을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 기존 CBM 프레임워크에서 다양한 시각적 맥락은 개념 예측의 모호성에 어떤 영향을 미치는가?
• RQ2 확률적 개념 임bedding는 모호한 시각적 신호로 인한 개념 존재성의 불확실성을 효과적으로 모델링할 수 있는가?
• RQ3 개념 불확실성 모델링이 모델 설명의 신뢰도를 어느 정도 향상시키는가?
• RQ4 통합된 확률적 프레임워크 내에서 클래스 불확실성은 개념 수준의 불확실성으로 의미 있게 설명될 수 있는가?
• RQ5 불확실성 기반의 개념 우선순위 정렬은 인간-모델 상호작용을 통한 모델 수정에 얼마나 효과적인가?

주요 결과

• ProbCBM는 결손된 신체 부위나 색상 이동과 같은 시각적 맥락의 변화로 인한 개념 불확실성을 성공적으로 모델링하며, 특히 모호한 경우에 더 높은 불확실성을 관찰한다.
• 특히 무작위 자르기와 같은 데이터 증강 기법을 적용할 경우, 불확실성 추정치가 크게 증가한다.
• 최대 불확실성 기반의 개념 간섭은 무작위 순서의 간섭보다 더 빠르고 효과적으로 분류 정확도를 향상시킨다.
• 개념 간섭 후 클래스 불확실성이 감소하고 모델 예측이 수정됨을 확인하여, 불확실성이 인간 지도 기반 모델 수정에 실질적인 유용성을 지닌다.
• 개념 레이블이 불완전하거나 일관되지 않은 경우에도 ProbCBM는 불확실성 모델링을 통해 신뢰할 수 있는 설명을 유지하여 완벽한 레이블링에 대한 의존도를 감소시킨다.
• 모든 잘못 예측된 개념을 불확실성 기반 순서로 간섭할 경우, 모델은 100%의 분류 정확도를 달성하여 불확실성 유도 보정의 효과성을 확인한다.