[논문 리뷰] Should We Respect LLMs? A Cross-Lingual Study on the Influence of Prompt Politeness on LLM Performance

Ziqi Yin, Hao Wang외 3명|arXiv (Cornell University)|2024. 02. 22.

Artificial Intelligence in Law인용 수 9

한 줄 요약

이 논문은 프롬프트의 정중함이 영어, 중국어, 일본어 작업에서 LLM 성능에 어떤 영향을 미치는지 연구하고, 지나치게 정중한 프롬프트가 더 나은 결과를 보장하지 않으며 최적의 정중함 수준은 언어에 따라 다르다는 것을 발견합니다.

ABSTRACT

We investigate the impact of politeness levels in prompts on the performance of large language models (LLMs). Polite language in human communications often garners more compliance and effectiveness, while rudeness can cause aversion, impacting response quality. We consider that LLMs mirror human communication traits, suggesting they align with human cultural norms. We assess the impact of politeness in prompts on LLMs across English, Chinese, and Japanese tasks. We observed that impolite prompts often result in poor performance, but overly polite language does not guarantee better outcomes. The best politeness level is different according to the language. This phenomenon suggests that LLMs not only reflect human behavior but are also influenced by language, particularly in different cultural contexts. Our findings highlight the need to factor in politeness for cross-cultural natural language processing and LLM usage.

연구 동기 및 목표

• 프롬프트에서 LLM이 인간의 정중함 규범을 반영하는지에 대한 조사를 촉진한다.
• 프롬프트의 정중함 수준이 다국어에 걸쳐 LLM 성능에 어떤 영향을 미치는지 조사한다.
• 지나치게 정중한 프롬프트가 성능을 향상시키는지 악화시키는지 여부와 최적의 정중함이 언어에 의존하는지 여부를 식별한다.

제안 방법

• 영어, 중국어, 일본어에서 다양한 정중함 수준의 프롬프트에 대한 LLM 응답을 평가하는 교차 언어 실험을 수행한다.
• 무례한 프롬프트가 결과를 악화시키는지 여부와 지나친 정중함이 도움이 되는지 여부를 판단하기 위해 성능 차이를 분석한다.
• 프롬프트 작성을 위한 문화적/교차 언어적 시사점을 논의하기 위해 발견을 종합한다.

실험 결과

연구 질문

• RQ1 프롬프트의 정중함이 영어, 중국어, 일본어 등 다국어에서 LLM 성능에 영향을 미치는가?
• RQ2 최적의 정중함 수준이 있으며, 그것이 언어 또는 문화에 따라 다르는가?
• RQ3 무례한 프롬프트가 예의 바른 프롬프트에 비해 일관되게 성능을 떨어뜨리는가?
• RQ4 다국어 NLP 과제에서 프롬프팅의 교차문화적 시사점은 무엇인가?

주요 결과

• 무례한 프롬프트는 종종 LLM 성능을 저하시킨다.
• 지나치게 정중한 프롬프트가 향상된 결과를 보장하지 않는다.
• 최적의 정중함 수준은 언어에 따라 다르며, 이는 LLM 동작에 대한 언어별 문화적 영향을 시사한다.