[論文レビュー] Exploring the Relationship between LLM Hallucinations and Prompt Linguistic Nuances: Readability, Formality, and Concreteness

Vipula Rawte, Prachi Priya+4 more|arXiv (Cornell University)|Sep 20, 2023

Text Readability and Simplification被引用数 16

ひとこと要約

本論文は、prompt の語用特徴—読みやすさ、形式性、具体性—がLLMsの幻覚にどう影響するかを、NYT tweet promptsと15のLLMを用いて調査し、形式性と具体性が幻覚を減らす一方、読みやすさは結果が混在することを発見した。

ABSTRACT

As Large Language Models (LLMs) have advanced, they have brought forth new challenges, with one of the prominent issues being LLM hallucination. While various mitigation techniques are emerging to address hallucination, it is equally crucial to delve into its underlying causes. Consequently, in this preliminary exploratory investigation, we examine how linguistic factors in prompts, specifically readability, formality, and concreteness, influence the occurrence of hallucinations. Our experimental results suggest that prompts characterized by greater formality and concreteness tend to result in reduced hallucination. However, the outcomes pertaining to readability are somewhat inconclusive, showing a mixed pattern.

研究の動機と目的

• LLMの幻覚の主なタイプ（Person、Location、Number、Acronym）を特徴づける。
• prompt の語用特性（読みやすさ、形式性、具体性）が幻覚発生率とどう関連するかを検討する。
• NYT のツイートから幻覚データセットを作成・注釈し、複数の LLM に対する影響を分析する。
• GPT-4、OPT などの高度な LLM におけるプロンプト特性の影響を分析する。

提案手法

• New York Times events から得られた 2,500-tweet データセットを注釈し、四つの幻覚カテゴリを同定する。
• これらの prompts について 15 の現代的な LLM を評価し、幻覚パターンを観察する。
• Flesch Reading Ease Score を用いて prompt の読みやすさを定量化し、幻覚との関係を分析する。
• defined formality metric を用いて formality を計算し、幻覚への影響を評価する。
• sentence prompts の語彙の concreteness 評価を平均化して算出し、幻覚への影響を評価する。

Figure 2: Empirical results in Liu et al. ( 2023b ) show that the models tend to excel at utilizing pertinent information found at the very start or end of their input context, but their performance notably declines when they need to access and utilize information situated in the middle of their inp

実験結果

リサーチクエスチョン

• RQ1 RQ1 Prompt の読みやすさの複雑さは、LLM 応答の幻覚発生の可能性にどう影響するか。
• RQ2 RQ2 Prompt の形式性は、LLM の幻覚傾向にどのように影響するか。
• RQ3 RQ3 Prompt の concreteness は、LLM の幻覚発生可能性にどう影響するか。
• RQ4 RQ4 効果は異なる LLM アーキテクチャ（例：GPT-4、OPT）で異なるか。

主な発見

• 読みやすさが高いプロンプトは幻覚を減らす傾向があるが、読みやすさの結果は混在している。
• 形式性が高いプロンプトは一般的に幻覚傾向を低く示し、特に Name および Location カテゴリで顕著であり、GPT-4 および OPT でより明確である。
• concreteness が高いプロンプトは幻覚を減らす。特に Number および Acronym カテゴリ、そして高度な LLM で強い効果が現れる。
• 形式的・具体的プロンプトの効果は後期のモデル（GPT-4、OPT など）でより顕著になる。
• 本研究は、読みやすさ、形式性、具体性の三つの言語的レンジ（Low/Mid/High）を定義し、プロンプトを分類する。

Figure 3: Hallucination vs Readability