[論文レビュー] Building Trustworthy NeuroSymbolic AI Systems: Consistency, Reliability, Explainability, and Safety

Manas Gaur, Amit Sheth|arXiv (Cornell University)|Dec 5, 2023

Explainable Artificial Intelligence (XAI)被引用数 1

ひとこと要約

本論文では、神経記号的（NeuroSymbolic）アプローチであるCRESTフレームワークを提案する。このフレームワークは、大規模言語モデル（LLMs）と分野特異的知識を統合することで、整合性、信頼性、説明可能性、安全性を向上させる。特に医療分野の応用において顕著な効果を示す。臨床ガイドライン（例：PHQ-9）に基づいてLLMsを固定化し、知識に配慮したプロンプトを用いることで、GPT-3.5に比べてPHQ-9の回答可能性が6%向上し、BLEURTスコアが21%向上した。

ABSTRACT

Explainability and Safety engender Trust. These require a model to exhibit consistency and reliability. To achieve these, it is necessary to use and analyze data and knowledge with statistical and symbolic AI methods relevant to the AI application - neither alone will do. Consequently, we argue and seek to demonstrate that the NeuroSymbolic AI approach is better suited for making AI a trusted AI system. We present the CREST framework that shows how Consistency, Reliability, user-level Explainability, and Safety are built on NeuroSymbolic methods that use data and knowledge to support requirements for critical applications such as health and well-being. This article focuses on Large Language Models (LLMs) as the chosen AI system within the CREST framework. LLMs have garnered substantial attention from researchers due to their versatility in handling a broad array of natural language processing (NLP) scenarios. For example, ChatGPT and Google's MedPaLM have emerged as highly promising platforms for providing information in general and health-related queries, respectively. Nevertheless, these models remain black boxes despite incorporating human feedback and instruction-guided tuning. For instance, ChatGPT can generate unsafe responses despite instituting safety guardrails. CREST presents a plausible approach harnessing procedural and graph-based knowledge within a NeuroSymbolic framework to shed light on the challenges associated with LLMs.

研究の動機と目的

• 大規模言語モデル（LLMs）が医療分野で広く使用されているにもかかわらず、その整合性、信頼性、安全性に欠けるという問題に対処すること。
• LLMsのブラックボックス性を、分野特異的知識と記号的推論を統合することで克服すること。
• 知識に導かれた推論と意思決定プロセスにより、ユーザーの視点での説明可能性を向上させること。
• LLMsが臨床実践ガイドラインに従うことを保証するフレームワークを開発し、危険または一貫性のない出力を低減すること。
• PRIMATEといううつ病スクリーニングベンチマークを用いて、ベースラインのLLMsと比較して明確な改善が得られることを実証すること。

提案手法

• CRESTは、神経記号的アーキテクチャを用いて、手続き的およびグラフベースの知識をLLMsに統合し、推論能力を向上させる。
• 分野特異的臨床ガイドライン（例：PHQ-9、DSM-5）を記号的知識として活用し、LLMsの出力を制約・誘導する。
• 知識コンセプトから単語への注目マップを用いて、分野知識との整合性を検証し、説明可能性を向上させる。
• 知識に特化したLLMs（例：Flan T5-XL、T5-XL）を用いてインstructチューニングおよびファインチューニングを実施し、一貫性と信頼性を向上させる。
• PHQ-9の回答可能性（マチューソン相関係数）、BLEURT、BERTScoreといった指標を用いて、意味的および事実的整合性を評価し、モデルの挙動を評価する。
• 臨床意思決定ルールと検証済みの知識に基づいてLLMの出力を固定化することで、人間が理解可能な説明を可能にする。

実験結果

リサーチクエスチョン

• RQ1 神経記号的AIは、医療関連の質問応答タスクにおけるLLMsの整合性と信頼性をどのように向上させ得るか？
• RQ2 臨床ガイドライン（例：PHQ-9）を統合することで、LLMが出力する回答の安全性と説明可能性はどの程度向上するか？
• RQ3 知識増強型LLMsは、GPT-3.5のような標準LLMsよりも、うつ病スクリーニングタスクで優れた性能を示せるか？
• RQ4 知識統合は、言い換えや悪意ある入力に対してモデルの耐性にどのように影響を与えるか？
• RQ5 医療分野における知識固定型LLMsの安全性と信頼性を評価するのに最も効果的な指標は何か？

主な発見

• CRESTは、9つの質問についての平均マチューソン相関係数を用いて測定したところ、GPT-3.5に比べてPHQ-9の回答可能性が6%向上した。
• 知識増強型のCRESTは、PHQ-9の質問との意味的整合性を示すBLEURTスコアで21%の向上を達成した。
• T5-XLおよびFlan T5-XLモデルは、臨床ガイドラインに従って誘導されることで、標準的なプロンプトに比べてより一貫性があり信頼性の高い出力を生成した。
• フレームワークは、悪意ある質問に対しても、有害または倫理に反する出力を生成する可能性を低減することで、安全性が向上した。
• 専門家が検証した知識統合により、意思決定が臨床的コンセプトおよびガイドラインに追跡可能となり、説明性が向上した。
• 知識コンセプトと注目マップの使用により、モデルの推論プロセスの検証が可能となり、LLM意思決定に対する信頼性が向上した。