[论文解读] Should We Respect LLMs? A Cross-Lingual Study on the Influence of Prompt Politeness on LLM Performance

Ziqi Yin, Hao Wang+3 more|arXiv (Cornell University)|Feb 22, 2024

Artificial Intelligence in Law被引用 9

一句话总结

本论文研究提示语礼貌程度如何影响 LLM 在英语、中文和日语任务中的表现，发现过于礼貌的提示不一定带来更好结果，最佳礼貌水平因语言而异。

ABSTRACT

We investigate the impact of politeness levels in prompts on the performance of large language models (LLMs). Polite language in human communications often garners more compliance and effectiveness, while rudeness can cause aversion, impacting response quality. We consider that LLMs mirror human communication traits, suggesting they align with human cultural norms. We assess the impact of politeness in prompts on LLMs across English, Chinese, and Japanese tasks. We observed that impolite prompts often result in poor performance, but overly polite language does not guarantee better outcomes. The best politeness level is different according to the language. This phenomenon suggests that LLMs not only reflect human behavior but are also influenced by language, particularly in different cultural contexts. Our findings highlight the need to factor in politeness for cross-cultural natural language processing and LLM usage.

研究动机与目标

• 调查 LLM 是否在提示中体现出与人类礼貌规范的镜像。
• 检验提示中的礼貌水平如何影响跨多语言的 LLM 表现。
• 确定过于礼貌的提示是否会提升或降低性能，以及最优的礼貌是否受语言影响。

提出的方法

• 进行跨语言实验，评估英文、中文和日语提示在不同礼貌水平下的 LLM 响应。
• 分析性能差异以确定不礼貌的提示是否会降低结果，以及过度礼貌是否有帮助。
• 综合研究结果，讨论在 NLP 提示中的文化/跨语言含义。

实验结果

研究问题

• RQ1 提示礼貌是否影响跨语言的 LLM 表现（英语、中文、日语）？
• RQ2 是否存在一个最佳的礼貌水平，是否因语言或文化而异？
• RQ3 与礼貌提示相比，不礼貌的提示是否会持续降低性能？
• RQ4 多语言 NLP 任务中提示的跨文化含义是什么？

主要发现

• 不礼貌的提示往往导致 LLM 性能下降。
• 过于礼貌的提示并不保证改善结果。
• 最佳的礼貌水平因语言而异，表明对 LLM 行为的语言特定文化效应。