[논문 리뷰] Concept Embedding Models: Beyond the Accuracy-Explainability Trade-Off

Mateo Espinosa Zarlenga, Pietro Barbiero외 10명|arXiv (Cornell University)|2022. 09. 19.

Data Stream Mining Techniques인용 수 35

한 줄 요약

개념 임베딩 모델(CEM)을 도입하여 각 개념을 고차원 임베딩으로 표현하고, 해석 가능성을 보존하면서도 테스트 시점 개념 개입을 효과적으로 가능하게 하여 강력한 태스크 정확도를 달성한다.

ABSTRACT

Deploying AI-powered systems requires trustworthy models supporting effective human interactions, going beyond raw prediction accuracy. Concept bottleneck models promote trustworthiness by conditioning classification tasks on an intermediate level of human-like concepts. This enables human interventions which can correct mispredicted concepts to improve the model's performance. However, existing concept bottleneck models are unable to find optimal compromises between high task accuracy, robust concept-based explanations, and effective interventions on concepts -- particularly in real-world conditions where complete and accurate concept supervisions are scarce. To address this, we propose Concept Embedding Models, a novel family of concept bottleneck models which goes beyond the current accuracy-vs-interpretability trade-off by learning interpretable high-dimensional concept representations. Our experiments demonstrate that Concept Embedding Models (1) attain better or competitive task accuracy w.r.t. standard neural models without concepts, (2) provide concept representations capturing meaningful semantics including and beyond their ground truth labels, (3) support test-time concept interventions whose effect in test accuracy surpasses that in standard concept bottleneck models, and (4) scale to real-world conditions where complete concept supervisions are scarce.

연구 동기 및 목표

• 블랙박스 예측을 넘어서 해석 가능한 중간 개념으로 이동함으로써 AI에 대한 신뢰를 촉진한다.
• 불완전한 개념 감독하에서 개념 병목 모델의 정확도-해석 가능성 트레이드오프를 다룬다.
• 개념별로 고차원 개념 임베딩과 이중 의미 상태를 가진 새로운 아키텍처(CEM)를 제안한다.
• 개념 병목에서 개념 표현과 정보 흐름을 평가하는 지표를 도입한다.
• 제한된 개념 주석 하에서 CEM이 경쟁력 있는 태스크 정확도와 강건한 개입을 달성함을 보이다.

제안 방법

• 각 개념에 대해 활성 상태와 비활성 상태를 나타내는 두 임베딩의 혼합을 학습한다.
• 두 임베딩의 쌍으로부터 개념 활성 확률을 산출하는 공유 스코어링 함수를 계산한다.
• 활성화 확률에 따라 두 임베딩의 가중 혼합으로 최종 개념 임베딩을 구성한다.
• 가중 파라미터 alpha로 태스크 예측 손실과 개념 예측 손실을 결합한 손실로 엔드-투-엔드로 학습한다.
• 개념이 수정될 때 활성 임베딩으로 교체하여 테스트 시 개입을 가능하게 한다.
• 훈련 중 개입을 시뮬레이션하여 개입 효과를 향상시키기 위해 RandInt를 도입한다.

실험 결과

연구 질문

• RQ1 개념 임베딩 모델(CEM)이 불완전한 개념 감독하에서도 해석 가능성을 희생하지 않으면서 다운스트림 태스크 정확도를 개선할 수 있는가?
• RQ2 고차원 개념 임베딩이 스칼라/비지도 병목보다 더 충실하고 실행 가능한 개념 표현을 제공하는가?
• RQ3 CEM이 테스트 시점 개념 개입에 더 잘 반응하고 잘못된 개입에 대해 강건한가?
• RQ4 새로운 평가 지표(CAS) 및 정보 평면 분석이 CEM이 왜 정확도-해석 가능성 트레이드오프를 완화하는지 밝히는가?

주요 결과

• CEM은 개념 감독 없이 표준 DNN과 비교해 더 좋거나 경쟁력 있는 태스크 정확도를 달성하고, Boolean/Fuzzy CBMs를 큰 차이로 능가한다.
• CEM은 개념 표현이 실제 개념과 최소한도 vanilla CBMs만큼 잘 맞추고 때로는 하이브리드를 능가한다.
• CEM은 효과적인 테스트 시 개입을 가능하게 하며, 개입 성능이 여러 설정에서 표준 개념 병목보다 우수하다.
• RandInt 학습은 개입에 대한 반응성을 향상시키고 부분적이거나 잘못된 개념 보정 하에서 성능을 향상시킬 수 있다.
• 정보 평면 분석은 임베딩 기반 CBMs가 입력 정보를 더 많이 보존하여 스칼라 CBMs에 비해 정보 병목을 완화함을 보여준다.
• 정성적 시각화는 CEM 임베딩이 활성화 및 태스크 라벨에 따른 의미 있는 개념 의미론과 계층적 구분을 포착함을 나타낸다.