[논문 리뷰] Knowledge-based XAI through CBR: There is more to explanations than models can tell

Rosina O. Weber, Manil Shrestha외 1명|arXiv (Cornell University)|2021. 08. 23.

Explainable Artificial Intelligence (XAI)참고 문헌 47인용 수 4

한 줄 요약

이 논문은 기계학습 모델이 제공할 수 있는 것 이상의 설명을 향상시키기 위해 사례 기반 추론(CBR)을 활용한 지식 기반 설명 가능 인공지능(KBXAI)을 제안한다. 도메인 지식과 전문가의 통찰을 추가적인 특성으로 통합함으로써 KBXAI는 설명 카테고리의 분류 정확도를 향상시켰다. 이미지 데이터에서는 정확도가 25%에서 32.5%로 향상되었고, 텍스트 데이터에서는 63.43%에서 72.64%로 개선되어, 모델 외부 지식이 다양한 이해관계자에게 설명 가능성을 크게 향상시킨다는 것이 입증되었다.

ABSTRACT

The underlying hypothesis of knowledge-based explainable artificial intelligence is the data required for data-centric artificial intelligence agents (e.g., neural networks) are less diverse in contents than the data required to explain the decisions of such agents to humans. The idea is that a classifier can attain high accuracy using data that express a phenomenon from one perspective whereas the audience of explanations can entail multiple stakeholders and span diverse perspectives. We hence propose to use domain knowledge to complement the data used by agents. We formulate knowledge-based explainable artificial intelligence as a supervised data classification problem aligned with the CBR methodology. In this formulation, the inputs are case problems composed of both the inputs and outputs of the data-centric agent and case solutions, the outputs, are explanation categories obtained from domain knowledge and subject matter experts. This formulation does not typically lead to an accurate classification, preventing the selection of the correct explanation category. Knowledge-based explainable artificial intelligence extends the data in this formulation by adding features aligned with domain knowledge that can increase accuracy when selecting explanation categories.

연구 동기 및 목표

• 현재 XAI 방법이 모델 내부 정보에만 의존하는 데서 비롯하는 한계를 해결함으로써, 다양한 이해관계자의 시각을 포괄하지 못하는 문제를 해결한다.
• 모델 기반 설명과 인간 사용자가 필요로 하는 풍부하고 맥락에 의존적인 정보 사이의 격차를 극복한다.
• 도메인 지식과 전문가 통찰을 설명 선택에 통합하여 정확도와 관련성을 향상시키는 프레임워크를 개발한다.
• 통일된 CBR 기반 접근 방식을 통해 이질적인 데이터 유형—표형, 이미지, 텍스트—전반에서 KBXAI의 효과성을 입증한다.
• 모델 출력이나 데이터 패턴에만 의존하지 않고 도메인 전문 지식에 기반한 설명 카테고리 생성 방법을 수립한다.

제안 방법

• CBR 프레임워크 내에서 KBXAI를 감독 분류 문제로 설정하며, 사례 문제에는 모델 입력과 출력이 포함되고, 사례 해결책은 도메인 지식에서 유도된 설명 카테고리가 된다.
• 전문가의 입력과 설명 임베딩의 클러스터링을 통해 설명 카테고리를 정의하고, 코사인 유사도를 사용해 대표적인 카테고리를 식별한다.
• 공용지식이나 도메인 지식에서 유도된 특성—예: 시각적 중요도 맵, 프로토타입 유사도(예: 트럭/frog), 구조적 특성(예: 눈/코 삼각형) 등을 추가하여 모델 성능을 향상시킨다.
• 모델 출력(예: 시각적 중요도)과 외부 지식(예: 프로토타입 임베딩)에서 유도된 명목형 및 연속형 특성을 활용해 입력 표현을 확장한다.
• 사례 확장 학습을 적용: 확장된 특성으로 분류기를 훈련시어 각 인스턴스에 가장 적합한 설명 카테고리를 예측한다.
• 임베딩 기반 유사도 측정 방법(예: 코사인 유사도)을 활용해 인스턴스를 설명 카테고리에 매핑하고, 저신뢰도 또는 중복된 카테고리를 걸러낸다.

실험 결과

연구 질문

• RQ1 어떻게 도메인 지식과 전문가 통찰을 체계적으로 XAI에 통합하여 모델 기반 할당을 넘어서는 설명 품질을 향상시킬 수 있는가?
• RQ2 어떤 종류의 지식 기반 특성이 다양한 데이터 모odalities에서 설명 카테고리 선택의 정확도를 향상시키는가?
• RQ3 모델 외부 지식의 통합이 표형, 이미지, 텍스트 데이터에서 설명 분류 성능에 어떤 영향을 미치는가?
• RQ4 CBR 기반 프레임워크가 이질적인 데이터 유형 간 설명 생성을 효과적으로 통합하면서도 해석 가능성과 정확성을 유지할 수 있는가?
• RQ5 모델 유도 특성과 지식 유도 특성 간에 설명 선택 정확도 향상에 기여하는 상대적 기여도는 어떠한가?

주요 결과

• 이미지 데이터에서 개별 특성 기반 지식—예: 개와 유사도(32.5% 정확도 향상) 및 개 특유의 구조적 특성(예: 눈/코 삼각형)을 추가함으로써, 기준 정확도 24%에서 크게 향상되었다.
• 이미지 작업에서 모델 기반 시각적 중요도와 지식 기반 특성(예: 프로토타입 유사도)의 조합은 각각 정확도를 24%에서 25%로 향상시키고, 후자는 데이터 및 모델 외부의 지식에 기반하여 32.5%까지 상승시켰다.
• 텍스트 기반 인용 추천 작업에서 단 두 개의 지식 기반 특성만을 사용하여도 정확도가 14.5% 향상되었으며, 이는 63.43%에서 72.64%로 상승한 것이다.
• 설명 카테고리는 전문가의 입력과 설명 임베딩의 클러스터링을 통해 유도되었으며, 테스트 인스턴스의 커버리지 기반으로 가장 인기 있는 12개 카테고리가 선정되었다.
• 일상 지식에서 유도된 특성—예: 학습 데이터에 존재하지 않는 동물에 대한 프로토타입 유사도—는 뛰어난 성능을 보였으며, 이는 모델 외부 설명 향상에 있어 그 가치를 입증했다.
• 지식 기반 특성의 성공에도 불구하고, 이 방법은 명목형 특성에 의존하고 지식 확보의 확장성에 한계가 있어, 향후 연구에서는 자동 지식 학습이 필요하다는 점이 드러났다.