[논문 리뷰] Interpretable Neural-Symbolic Concept Reasoning

Pietro Barbiero, Gabriele Ciravegna외 8명|arXiv (Cornell University)|2023. 04. 27.

Explainable Artificial Intelligence (XAI)참고 문헌 57인용 수 6

한 줄 요약

이 논문은 신경 개념 임베딩에서 기호적 논리 규칙을 구성하는 첫 번째 해석 가능한 개념 기반 모델인 딥 컨셉 리저너(DCR)를 소개한다. 이는 미분 가능하고 의미적으로 유의미한 추론을 가능하게 한다. DCR는 이전 모델 대비 최대 +25%의 정확도를 달성하면서 인간이 이해할 수 있는 규칙를 발견하고, 개념 감독 없이도 반성적 예시 생성이 가능하다.

ABSTRACT

Deep learning methods are highly accurate, yet their opaque decision process prevents them from earning full human trust. Concept-based models aim to address this issue by learning tasks based on a set of human-understandable concepts. However, state-of-the-art concept-based models rely on high-dimensional concept embedding representations which lack a clear semantic meaning, thus questioning the interpretability of their decision process. To overcome this limitation, we propose the Deep Concept Reasoner (DCR), the first interpretable concept-based model that builds upon concept embeddings. In DCR, neural networks do not make task predictions directly, but they build syntactic rule structures using concept embeddings. DCR then executes these rules on meaningful concept truth degrees to provide a final interpretable and semantically-consistent prediction in a differentiable manner. Our experiments show that DCR: (i) improves up to +25% w.r.t. state-of-the-art interpretable concept-based models on challenging benchmarks (ii) discovers meaningful logic rules matching known ground truths even in the absence of concept supervision during training, and (iii), facilitates the generation of counterfactual examples providing the learnt rules as guidance.

연구 동기 및 목표

• 개념 기반 딥 러닝에서의 해석 가능성-정확도 트레이드오프를 해결하기 위해 개념 표현의 의미를 유지한다.
• 높은 차원의 개념 임베딩은 성능 향상에 기여하지만 의미적으로 해석하기 어려운 한계를 극복한다.
• 신경 학습과 개념 임베딩에서의 기호적 추론을 통합하는 통합적이고 종단간(end-to-end) 미분 가능한 프레임워크를 개발한다.
• 예측을 설명하기 위해 블랙박스 신경 컴포넌트에 의존하지 않고 인간이 읽을 수 있는 논리 규칙을 생성함으로써 모델의 투명성을 확보한다.
• 학습 중에 얻은 명시적이고 해석 가능한 논리 규칙을 활용해 반성적 예시 생성을 가능하게 한다.

제안 방법

• 예측에 직접 사용하는 대신, 신경망을 사용해 개념 임베딩을 구성하여 문법적 규칙 구조를 만든다.
• 다양한 미분 가능한 활성화 함수를 사용해 개념 임베딩을 진도도(진리도)로 변환함으로써 퍼지 논리 추론을 가능하게 한다.
• t-노름과 t-코노름을 사용해 다수의 개념을 다양한 미분 가능한 연산자로 조합하는 가중치가 부여된 논리 규칙을 구성한다.
• 이 규칙들을 진도도에 적용하여, 미분 가능한 방식으로 최종적으로 해석 가능한 예측을 도출한다.
• 작업 정확도와 진도 개념에 대한 규칙 일관성을 동시에 최적화하는 손실 함수를 사용해 전체 시스템을 종단간으로 훈련한다.
• 입력 특징이 의미적으로 유의미하지 않은 경우, 원시 입력(이미지, 표준 데이터, 그래프)을 개념 공간으로 매핑하는 개념 인코더를 통합한다.

Figure 1: (a) An interpretable concept-based model $f$ maps concepts $\hat{C}$ to tasks $\hat{Y}$ generating an interpretable rule. When input features are not semantically meaningful, a concept encoder $g$ can map raw features to a concept space. (b) The proposed approach (DCR) outperforms interpre

실험 결과

연구 질문

• RQ1 기본 기반 모델이 기호적 논리 규칙을 통해 완전히 해석 가능한 의사결정 과정을 유지하면서도 높은 정확도를 달성할 수 있는가?
• RQ2 훈련 중에 명시적인 개념 감독 없이도 개념 임베딩에서 의미 있고 의미적으로 일관된 논리 규칙을 발견할 수 있는가?
• RQ3 학습된 기호적 규칙이 인간이 이해할 수 있는 방식으로 반성적 예시 생성에 얼마나 효과적으로 기여할 수 있는가?
• RQ4 기본 기반의 해석 가능한 논리 규칙을 통해 추론하는 모델의 성능은 최신의 해석 가능 모델 및 블랙박스 모델과 비교해 어떻게 되는가?
• RQ5 개념 임베딩에서 기호적 추론을 미분 가능하게 적용하면, 해석 가능성에 있어 순수하게 임베딩 기반 표현에 의존하는 모델보다 우월한 성능을 낼 수 있는가?

주요 결과

• DCR는 도전적인 벤치마크에서 최신의 해석 가능한 개념 기반 모델 대비 최대 +25%의 정확도 향상을 보였다.
• 훈련 중에 개념 감독이 제공되지 않더라도, 모델은 알려진 진리관계와 일치하는 논리 규칙을 발견한다.
• 학습된 기호적 규칙을 해석 가능한 가이드라인으로 활용해 효과적인 반성적 예시 생성이 가능하다.
• DCR의 부울 규칙 집합의 집합적 행동은 전반적인 모델 행동을 근사하며, 알려진 사실관계와 일치한다.
• 블랙박스 신경 모델이나 추론 과정이 암묵적인 신경-기호 시스템과 달리, DCR는 결정 과정을 명시적으로 기호적 규칙에 코딩함으로써 해석 가능성을 유지한다.
• 표준 데이터, 이미지, 그래프 데이터 등 다양한 데이터 유형에 걸쳐 강력한 일반화 성능을 보이며 의미적 해석 가능성도 유지한다.

Figure 3: Mean ROC AUC for task predictions for all baselines across all tasks (the higher the better). DCR often outperforms interpretable concept-based models. CE stands for concept embeddings, while CT for concept truth degrees. Models trained on concept embeddings are not interpretable as concep