[論文レビュー] Comparing Hallucination Detection Metrics for Multilingual Generation

Haoqiang Kang, Terra Blevins+1 more|arXiv (Cornell University)|Feb 16, 2024

Mental Health Research Topics被引用数 4

ひとこと要約

本稿は、生物的テキスト生成における複数言語にわたる自動幻覚検出メトリクス—語彙的（ROUGE、固有語彙の重複）およびNLIベースのもの—の有効性を評価する。NLIベースのメトリクスは高資源言語における文レベルの幻覚に対しては良好に機能するが、原子的事実に対しては失敗する。一方、語彙的メトリクスはNLIベースのメトリクスと相関が低く、多言語的幻覚検出における重要なギャップを露呈しており、より強固で言語に依存しない手法の開発が急務であることを示している。

ABSTRACT

While many hallucination detection techniques have been evaluated on English text, their effectiveness in multilingual contexts remains unknown. This paper assesses how well various factual hallucination detection metrics (lexical metrics like ROUGE and Named Entity Overlap, and Natural Language Inference (NLI)-based metrics) identify hallucinations in generated biographical summaries across languages. We compare how well automatic metrics correlate to each other and whether they agree with human judgments of factuality. Our analysis reveals that while the lexical metrics are ineffective, NLI-based metrics perform well, correlating with human annotations in many settings and often outperforming supervised models. However, NLI metrics are still limited, as they do not detect single-fact hallucinations well and fail for lower-resource languages. Therefore, our findings highlight the gaps in exisiting hallucination detection methods for non-English languages and motivate future research to develop more robust multilingual detection methods for LLM hallucinations.

研究の動機と目的

• 英語を対象として開発された既存の幻覚検出メトリクスが、多言語テキスト生成にどの程度有効であるかを評価すること。
• 語彙的メトリクス（例：ROUGE、固有語彙の重複）とNLIベースのメトリクスが、非英語言語における事実的幻覚をどの程度相関して検出できるかを調査すること。
• 多様な言語にわたる幻覚検出において、リファレンスベースのメトリクスとペアワイズメトリクスの性能を評価すること。
• 言語リソースの可用性が幻覚検出の正確性に与える影響、特に低資源環境下での影響を検討すること。
• 現在の自動メトリクスが多言語的文脈における原子的事実の幻覚をどの程度検出できないかの限界を同定すること。

提案手法

• 本研究では、18の言語（高資源および低資源言語を含む）における生物的要約生成を目的としたBLOOMZ-mtモデルを用いる。
• ゴールスタンダードリファレンスとの比較において、リファレンスベースのメトリクス（例：ROUGE、固有語彙の重複）およびNLIベースのメトリクスを適用する。
• ペアワイズメトリクスは、同一プロンプトから生成された複数のサンプルを比較することで算出し、一貫性の評価および幻覚の検出を試みる。
• 中国語および英語の文書に対して人間による評価を実施し、自動メトリクスの妥当性を検証する。評価では事実性検証をゴールスタンダードとして用いる。
• 自動メトリクスと人間による判断との相関分析を実施し、言語に跨る信頼性を評価する。
• メトリクスの限界を特定するため、文レベルの幻覚とより単純な原子的事実の幻覚の両方で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 従来の語彙的メトリクス（ROUGE、固有語彙の重複）は、NLIベースのメトリクスと比較して、多言語テキスト生成における事実的幻覚をどの程度効果的に検出できるか？
• RQ2 NLIベースのメトリクスは、高資源言語と低資源言語の両方において、幻覚検出にどの程度有効であるか？
• RQ3 リファレンスベースおよびペアワイズNLIベースのメトリクスは、言語に跨る人間アノテート事実性判断とどの程度相関するか？
• RQ4 NLIベースのメトリクスは文レベルの幻覚では良好に機能するが、なぜ原子的事実の幻覚検出に失敗するのか？
• RQ5 言語リソースの可用性が、自動幻覚検出メトリクスの信頼性にどの程度影響を及ぼすか？

主な発見

• 語彙的重複メトリクス（例：ROUGE、固有語彙の重複）は、高資源言語であっても、NLIベースのメトリクスと事実的幻覚検出において有意な相関を示さない。
• NLIベースのメトリクスは、人間評価と比較して高資源言語における文レベルの幻覚検出に有効に機能するが、原子的事実の幻覚検出では著しく性能が低下する。
• ペアワイズNLIベースのメトリクスは、高資源言語ではリファレンスベースのメトリクスと強く相関するが、低資源言語ではその相関が著しく弱まる。
• NLIベースのメトリクスの有効性は、下位のNLIモデルの性能に強く依存しており、低資源環境ではその信頼性が低下するため、一般化が困難である。
• 有望な可能性を示すものの、NLIベースのメトリクスは単純な原子的事実の幻覚を検出できないため、現在の事実性検証アプローチに深刻な限界があることが示された。
• 本研究は、特に低資源言語において顕著な多言語的幻覚検出のギャップを明らかにした。語彙的重複メトリクスは不十分であり、NLIベースの手法も信頼性に欠ける。