[論文レビュー] Enhancing Guardrails for Safe and Secure Healthcare AI

Ananya Gangavarapu|arXiv (Cornell University)|Sep 25, 2024

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

本論文は、Llama Guardと NVIDIA NeMo Guardrails を組み合わせて、医療用 LLM（L2M3）の幻覚や脱獄に対する安全性・事実性・ロバスト性を向上させるフレームワークを提案し、Med-HALTと合成データで評価する。

ABSTRACT

Generative AI holds immense promise in addressing global healthcare access challenges, with numerous innovative applications now ready for use across various healthcare domains. However, a significant barrier to the widespread adoption of these domain-specific AI solutions is the lack of robust safety mechanisms to effectively manage issues such as hallucination, misinformation, and ensuring truthfulness. Left unchecked, these risks can compromise patient safety and erode trust in healthcare AI systems. While general-purpose frameworks like Llama Guard are useful for filtering toxicity and harmful content, they do not fully address the stringent requirements for truthfulness and safety in healthcare contexts. This paper examines the unique safety and security challenges inherent to healthcare AI, particularly the risk of hallucinations, the spread of misinformation, and the need for factual accuracy in clinical settings. I propose enhancements to existing guardrails frameworks, such as Nvidia NeMo Guardrails, to better suit healthcare-specific needs. By strengthening these safeguards, I aim to ensure the secure, reliable, and accurate use of AI in healthcare, mitigating misinformation risks and improving patient safety.

研究の動機と目的

• 医療AIにおける幻覚、誤情報、 unsafe 出力を防ぐための堅牢な安全機構の必要性を動機付ける。
• 入力検証、取得拡張型安全チェック、医療知識の grounding をハイブリッド化したフレームワークを提案する。
• 医療ドメインのデータセットを用いて統合ガードレールを評価し、精度と幻覚耐性の改善を測定する。

提案手法

• 処理前の入力 sanitization と jailbreaking 検出のために Llama Guard 3 を統合する。
• NVIDIA NeMo Guardrails を組み込み、リアルタイムな安全チェックと知識ベース取得レール（FDA、PubMed）を提供する。
• 医療ドメインの L2M3 モデルを用いて応答を生成し、医療知識ベースと照合して検証する。
• 出力中の医療用語・薬剤名の妥当性を確認するための用語抽出と照合を実施する。
• Med-HALT と合成 Nemotron ベースのデータセットで出力を検証し、精度と幻覚/脱獄耐性を測定する。

実験結果

リサーチクエスチョン

• RQ1 統合ガードレールは、ガードレールなしのベースラインと比較して医療用 LLM の幻覚・悪用を低減できるか？
• RQ2 統合フレームワークは医療特有の評価データセット（Med-HALT）および合成の脱獄/幻覚プロンプトでどのように機能するか？
• RQ3 取得ベースの安全レールが臨床文脈での事実性と安全性に与える影響はどれほどか？

主な発見

モデル	FCT 精度	FCT スコア	FQT 精度	FQT スコア	NOTA 精度	NOTA スコア
L2M3 Without Guardrails	44.38	53.14	97.26	17.58	84.11	191.6
L2M3 With Guardrails	46.12	56.08	98.11	18.0	88.0	196.0

• ガードレール統合は、すべての評価タイプ（FCT、FQT、NOTA）で Med-HALT の指標を改善した。
• Med-HALT では、ガードレール付きの L2M3 がベースラインよりも FCT および NOTA の精度が高く、総合スコアも高い。
• 合成データの評価では、幻覚検出と脱獄耐性においてガードレール使用時に大幅な改善を示した（精度：幻覚 75.0% から 93.0%；脱獄 68.0% から 96.0%）。
• ガードレールにより信頼できる医療知識ベース（FDA、PubMed）からの取得が可能となり、出力の情報性と検証性を向上させる。
• 統合フレームワークは、安全性と規制遵守を維持しつつ、医療文脈での出力品質を向上させる。