[论文解读] Addressing LLM Diversity by Infusing Random Concepts

Pulin Agrawal, Prasoon Goyal|arXiv (Cornell University)|Jan 26, 2026

Topic Modeling被引用 0

一句话总结

该论文测试一种轻量级提示方法，通过在提示前置随机词语或句子来增加多样性（唯一项和熵）在多模型的LLM列举任务中的表现。

ABSTRACT

Large language models (LLMs) are known to produce outputs with limited diversity. In this work, we study whether infusing random concepts in the prompts can improve the diversity of the generated outputs. To benchmark the approach, we design a systematic evaluation protocol which involves prompting an LLM with questions of the form "Name 10 Hollywood actors", and analyzing diversity measures of the resulting LLM outputs. Our experiments on multiple LLMs show that prepending random words/sentences unrelated to the prompt result in greater diversity in the outputs of LLMs. We believe that this promising result and the evaluation protocol opens up interesting avenues for future work, such as how infusing randomness into LLMs could be applied to other domains. Further, the evaluation protocol could also inspire research into benchmarking LLM diversity more systematically.

研究动机与目标

• 调查在提示中注入随机概念在多大程度上增加LLM输出的多样性。
• 开发一种轻量级、基于提示的方法以缓解LLMs 的长尾/模式崩溃。
• 提供一个评估协议，用于在不同模型和数据集上测量基于列表的提示的多样性。

提出的方法

• 定义从模糊集合中请求K项的提示，并对每个提示查询模型M次。
• 在提示前置一个随机词语或随机句子，以创建随机上下文提示。
• 通过输出集合的唯一项数量和输出分布的熵来衡量多样性。
• 在有序和无序提示设置中比较常规提示、随机词语和随机句子。
• 分析分布形状的变化及跨模型的统计显著性。

实验结果

研究问题

• RQ1 前置随机概念到提示中是否会增加LLMs在基于列表的任务中生成的唯一项数量？
• RQ2 这种方法是否增加输出分布的熵，表明对常见回答的偏见降低？
• RQ3 在不同模型规模以及有序/无序提示设置之间，多样性提升是否具有一致性？
• RQ4 随着更多随机上下文（如更多随机词）增加，该方法的扩展性如何？

主要发现

Model	Dataset	Regular Prompt (Entropy)	Regular Prompt (Count)	With Random Word (Entropy)	With Random Word (Count)	With Random Sentence (Entropy)	With Random Sentence (Count)
Gemma3:4b	ordered	3.89	22	4.09	32	4.08	30
Gemma3:4b	unordered	3.85	18	4.16	35	4.16	31
Nova Pro	ordered	4.15	31	4.24	34	4.22	32
Nova Pro	unordered	4.13	31	4.25	33	4.21	33
Claude 3.5 Sonnet	ordered	3.65	16	3.70	17	3.68	16
Claude 3.5 Sonnet	unordered	3.65	16	3.69	18	3.66	17
Mistral Large	ordered	4.03	22	4.15	26	4.16	26
Mistral Large	unordered	3.93	21	4.08	26	4.14	28

• 在模型 Gemma3 4b、Nova Pro、Claude 3.5 Sonnet、Mistral Large 以及有序/无序设置下，随机上下文提示能够产生更多的唯一响应。
• 输出熵随着随机上下文提示而增加，表明分布更平坦、长尾偏见减少。
• 随机词语和随机句子通常在与常规提示相比时显著改善多样性（p < 0.05），具有统计学意义。
• 增加随机词数量对熵的影响呈现混合性，暗示随机性效应可能趋于饱和。
• 该方法与温度设定正交，可以与其他增加多样性的方法结合使用。