[논문 리뷰] Towards Explainable Neural-Symbolic Visual Reasoning

Adrien Bennetot, Jean-Luc Laurent외 2명|arXiv (Cornell University)|2019. 09. 19.

Explainable Artificial Intelligence (XAI)참고 문헌 22인용 수 34

한 줄 요약

논문은 데이터로부터 직접 지식 베이스를 구성하고, 기호적 추론으로 학습을 제약하며, 이를 이용해 신경망의 편향을 드러내고 수정하는 신경-기호 설명 가능 모델을 제안하며, 이미지 캡션 생성에 이를 시연합니다.

ABSTRACT

Many high-performance models suffer from a lack of interpretability. There has been an increasing influx of work on explainable artificial intelligence (XAI) in order to disentangle what is meant and expected by XAI. Nevertheless, there is no general consensus on how to produce and judge explanations. In this paper, we discuss why techniques integrating connectionist and symbolic paradigms are the most efficient solutions to produce explanations for non-technical users and we propose a reasoning model, based on definitions by Doran et al. [2017] (arXiv:1710.00794) to explain a neural network's decision. We use this explanation in order to correct bias in the network's decision rationale. We accompany this model with an example of its potential use, based on the image captioning method in Burns et al. [2018] (arXiv:1803.09797).

연구 동기 및 목표

• AI의 해석 가능성을 높이고, 비전문가가 이해할 수 있는 설명의 필요성을 강조합니다.
• 데이터에서 도출된 고유한 지식 베이스(KB)와 블랙박스 신경 모델을 결합한 신경-기호 아키텍처를 제안합니다.
• KB가 모델의 편향을 드러내고 학습을 안내해 강건성과 성능을 개선하도록 합니다.
• 기존 이미지 캡션 방법을 적용해 추론과 편향을 노출하는 접근법을 시연합니다.

제안 방법

• Doran 등(2017)의 신경-기호 프레임워크를 확장하여 외부에서 제공된 KB가 아니라 데이터를 직접 통해 KB를 채웁니다.
• 첫 번째 블랙박스에서 기호 규칙을 추출하고 이를 두 번째 블랙박스에 반영하여 학습을 제약합니다(예: 손실 함수, 초기화 또는 하이퍼파라미터를 통해).
• KB를 이용해 질의에 답하고 설명을 최종 출력과 연결하는 추론자(reasoner) 구성 요소를 정의합니다.
• Burns 등(2018)의 손실 함수에서 편향에 취약한 단어를 다루기 위해 Confusion Loss와 Confidence Loss를 도입하여 증거가 약할 때 방향을 중립으로, 강할 때 구체적으로 유도합니다.
• L_CE(교차 엔트로피)와 L_Confusion, L_Confidence를 하나의 손실로 결합해 맥락 사용과 편향 인식 설명 사이의 균형을 맞춥니다.
• Vinyals 등 2014의 기본 캡션 네트워크를 이용한 이미지 캡션링에 모델을 적용하고 KB를 안내하기 위한 편향 탐지 단어 집합 B_word를 도출합니다.
• 추론자를 통해 자연어로 예측을 설명하고 잠재적 편향과 학습 과정을 강조합니다.

실험 결과

연구 질문

• RQ1 지식 베이스를 신경망 학습 데이터로부터 직접 도출하여 충실한 설명을 지원할 수 있는가?
• RQ2 신경-기호 추론이 시각-언어 작업의 편향을 줄이고 모델 결정에 대한 해석 가능한 자연어 설명을 제공할 수 있는가?
• RQ3 증거가 있을 때는 확신을 갖고, 없을 때는 혼란스러워 하도록 모델의 손실 함수를 설계하는 방법은 무엇이며, 이를 통해 편향을 드러낼 수 있는가?
• RQ4 성능 유지와 해석 가능성 달성 사이의 균형은 신경-기호 캡션/인식 시스템에서 어떻게 되는가?

주요 결과

• 제안된 모델은 신경망 편향의 기원을 탐지하고 맥락이 약할 때 편향 없는 예측을 제공할 수 있습니다.
• 접근 방식은 모델의 손실 기반 최적화 과정을 반영하는 자연어 설명을 제공합니다.
• 데이터 기반 KB를 추출·사용하는 것은 학습을 제약하고 성능을 개선하며 추론의 투명성을 높일 수 있습니다.
• 편향 위험 단어 집합(B_word)을 활용해 모델이 interchangeable한 용어들 사이에서 주저하도록 유도하고 과잉 일반화를 줄일 수 있습니다.
• 이 방법은 고수준의 기호적 추론과 신경 예측기를 결합해 정확도를 해치지 않으면서도 충실한 설명을 제공하는 방법을 보여줍니다.