[논문 리뷰] Building Trustworthy NeuroSymbolic AI Systems: Consistency, Reliability, Explainability, and Safety

Manas Gaur, Amit Sheth|arXiv (Cornell University)|2023. 12. 05.

Explainable Artificial Intelligence (XAI)인용 수 1

한 줄 요약

이 논문은 신경기호 학습(NeuroSymbolic) 접근법인 CREST 프레임워크를 제안한다. 이는 대규모 언어 모델(LLM)과 상징지식을 통합하여 일관성, 신뢰성, 설명 가능성 및 안전성을 향상시키며, 특히 헬스케어 분야에서의 응용에 중점을 둔다. PHQ-9 등의 임상 지침을 기반으로 LLM을 지식 기반으로 설정하고 지식 인식 프롬프팅을 활용함으로써, GPT-3.5 대비 PHQ-9 답변 가능성에서 6% 향상되고 BLEURT에서 21% 향상된 성능을 달성한다.

ABSTRACT

Explainability and Safety engender Trust. These require a model to exhibit consistency and reliability. To achieve these, it is necessary to use and analyze data and knowledge with statistical and symbolic AI methods relevant to the AI application - neither alone will do. Consequently, we argue and seek to demonstrate that the NeuroSymbolic AI approach is better suited for making AI a trusted AI system. We present the CREST framework that shows how Consistency, Reliability, user-level Explainability, and Safety are built on NeuroSymbolic methods that use data and knowledge to support requirements for critical applications such as health and well-being. This article focuses on Large Language Models (LLMs) as the chosen AI system within the CREST framework. LLMs have garnered substantial attention from researchers due to their versatility in handling a broad array of natural language processing (NLP) scenarios. For example, ChatGPT and Google's MedPaLM have emerged as highly promising platforms for providing information in general and health-related queries, respectively. Nevertheless, these models remain black boxes despite incorporating human feedback and instruction-guided tuning. For instance, ChatGPT can generate unsafe responses despite instituting safety guardrails. CREST presents a plausible approach harnessing procedural and graph-based knowledge within a NeuroSymbolic framework to shed light on the challenges associated with LLMs.

연구 동기 및 목표

• 대규모 언어 모델(LLM)이 의료 분야에서 널리 사용되고 있음에도 불구하고 일관성, 신뢰성 및 안전성의 부족을 해결하기 위해.
• LLM의 투명성 부족 문제를 극복하기 위해 도메인 특화 지식과 상징적 추론을 통합하기 위해.
• 지식 기반 추론과 의사결정 경로를 통해 사용자 수준의 설명 가능성을 향상시키기 위해.
• LLM이 임상 실무 지침을 준수하도록 보장하는 프레임워크를 개발하여 위험하거나 일관성 없는 출력을 줄이기 위해.
• 기본 LLM보다 향상된 성능을 입증하기 위해 우울증 탐지 벤치마크(PRIMATE)에서 프레임워크의 성능을 평가하기 위해.

제안 방법

• CREST는 신경기호 아키텍처를 활용하여 절차적 지식과 그래프 기반 지식을 LLM에 통합하여 추론 능력을 향상시킨다.
• 특정 도메인의 임상 지침(예: PHQ-9, DSM-5)을 상징적 지식으로 활용하여 LLM의 출력을 제약하고 이입한다.
• 지식 개념-단어 간 주의 맵(attention maps)을 사용하여 도메인 지식과의 일치성을 검증하고 설명 가능성을 향상시킨다.
• 지식에 특화된 LLM(예: Flan T5-XL, T5-XL)을 대상으로 지시 훈련(instruction tuning) 및 미세조정(fine-tuning)을 수행하여 일관성과 신뢰성을 향상시킨다.
• PHQ-9 답변 가능성(Matthews 상관계수), BLEURT, BERTScore 등의 지표를 사용하여 모델 행동을 평가함으로써 의미적 및 사실적 일치도를 평가한다.
• 임상 의사결정 규칙과 검증된 지식에 기반한 LLM 응답을 제공함으로써 인간이 이해할 수 있는 설명을 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경기호 AI는 건강 관련 질의응답 작업에서 LLM의 일관성과 신뢰성을 어떻게 향상시킬 수 있는가?
• RQ2 임상 지침(예: PHQ-9)을 통합할 경우 LLM이 생성한 응답의 안전성과 설명 가능성은 어느 정도 향상되는가?
• RQ3 지식 증강된 LLM은 GPT-3.5와 같은 표준 LLM보다 우울증 스크리닝 작업에서 더 나은 성능을 보일 수 있는가?
• RQ4 지식 통합은 파라프라제이션 또는 악성 입력에 대한 모델의 강건성에 어떤 영향을 미치는가?
• RQ5 의료 분야의 지식 기반 LLM에서 안전성과 신뢰성을 평가하는 데 가장 효과적인 지표는 무엇인가?

주요 결과

• CREST는 9개 질문에 대한 평균 Matthews 상관계수 기준으로 GPT-3.5 대비 PHQ-9 답변 가능성에서 6% 향상되었다.
• 지식 증강된 CREST의 경우 BLEURT 점수에서 21% 향상되어 PHQ-9 질문과의 의미적 일치도가 향상됨을 나타낸다.
• T5-XL 및 Flan T5-XL 모델은 임상 지침을 기반으로 한 지침을 받을 경우 표준 프롬프팅보다 더 일관되고 안정적인 응답을 생성하였다.
• 프레임워크는 악성 질문 조건에서도 유해하거나 비윤리적인 응답을 생성할 가능성을 줄여 안전성이 향상됨을 입증하였다.
• 전문가가 검증한 지식 통합은 결정이 임상 개념과 지침에 따라 추적 가능한 더 설명 가능한 출력을 만들어 냈다.
• 지식 개념과 주의 맵의 사용을 통해 모델의 추론 과정을 검증할 수 있었으며, LLM의 결정에 대한 신뢰도가 향상되었다.