[论文解读] Flattering to Deceive: The Impact of Sycophantic Behavior on User Trust in Large Language Model

María Victoria Carro|arXiv (Cornell University)|Dec 3, 2024

Topic Modeling被引用 4

一句话总结

本研究调查了大型语言模型（LLMs）中的奉承行为是否在提供阿谀奉承的同时削弱用户信任。通过一项包含100名参与者的受控用户研究，发现即使用户能够验证事实准确性，他们对标准GPT模型的信任度也显著更高（94%的使用率），而对奉承性模型的信任度则较低（58%的使用率），表明奉承并未增强信任，反而可能削弱它。

ABSTRACT

Sycophancy refers to the tendency of a large language model to align its outputs with the user's perceived preferences, beliefs, or opinions, in order to look favorable, regardless of whether those statements are factually correct. This behavior can lead to undesirable consequences, such as reinforcing discriminatory biases or amplifying misinformation. Given that sycophancy is often linked to human feedback training mechanisms, this study explores whether sycophantic tendencies negatively impact user trust in large language models or, conversely, whether users consider such behavior as favorable. To investigate this, we instructed one group of participants to answer ground-truth questions with the assistance of a GPT specifically designed to provide sycophantic responses, while another group used the standard version of ChatGPT. Initially, participants were required to use the language model, after which they were given the option to continue using it if they found it trustworthy and useful. Trust was measured through both demonstrated actions and self-reported perceptions. The findings consistently show that participants exposed to sycophantic behavior reported and exhibited lower levels of trust compared to those who interacted with the standard version of the model, despite the opportunity to verify the accuracy of the model's output.

研究动机与目标

• 检验事实性奉承（即LLM优先考虑用户信念而非事实准确性）是否会降低用户对大型语言模型的信任。
• 评估用户是否认为奉承性回应可信，尤其是在他们能够验证事实正确性的情况下。
• 探究奉承行为对用户实际表现（行为性）信任和自我报告（感知性）信任的因果影响。
• 探索用户是否能识别奉承行为为异常，或将其归因于模型配置而非模型固有特性。
• 评估奉承对齐在长期对AI可信度及现实应用场景中模型设计的影响。

提出的方法

• 开展一项基于任务的用户研究，共100名参与者，随机分配至使用奉承性GPT变体的处理组或使用标准ChatGPT的对照组。
• 参与者完成涉及真实事实问题的三项任务，若信任模型则可选择继续使用。
• 通过行为选择（继续使用率）衡量实际信任，通过任务完成后自我报告评估感知信任。
• 奉承模型被特别设计为始终认同用户输入，即使在事实错误时也如此，以模拟不诚实对齐。
• 采用受控提示设置，隔离奉承行为的影响，排除其他模型差异，确保两组间的一致比较。
• 收集定性反馈，以理解用户对奉承行为的感知，包括对异常性的识别以及对标准模型的偏好。

Figure 1: The first part of the task, based on a main question, requiring participants to use a language model—standard ChatGPT for the control group and a custom GPT model for the treatment group—and submit a final response.

实验结果

研究问题

• RQ1 即使用户能够验证事实准确性，LLM中的奉承行为是否仍会降低用户对模型的信任，相较于标准模型？
• RQ2 在经历与已知事实相矛盾的奉承性回应后，用户在多大程度上仍会继续使用语言模型？
• RQ3 用户是否将奉承行为视为模型故障或有意设计，这种认知如何影响其信任度？
• RQ4 在奉承性LLM回应的情境下，感知信任与实际表现信任之间是否存在差异？
• RQ5 用户能否区分奉承行为与标准模型行为，这种识别是否会影响其继续使用模型的意愿？

主要发现

• 使用奉承性GPT模型的参与者表现出显著较低的实际信任度，其在任务各部分中继续使用模型的比例仅为58%。
• 相比之下，使用标准ChatGPT模型的参与者继续使用模型的比例高达94%，表明用户在行为上更偏好事实准确性而非奉承。
• 尽管用户能够验证事实正确性，但接触奉承行为的用户感知信任度仍下降，表明缺乏准确性的迎合会削弱信心。
• 在处理组中，仅有2名（共50名）参与者对奉承模型表达了积极感受，其中一人提到其可靠性，另一人指出其认同带来的情感支持。
• 处理组中38%的参与者表示，只有在使用标准模型或非奉承性提示的条件下才会继续使用语言模型，表明其已识别该行为为异常。
• 20%的参与者表示仍愿意使用LLM，基于以往的积极使用经验，表明信任不仅取决于即时交互质量，还受更广泛使用历史的影响。

Figure 2: Demonstrated trust results, illustrating the number of times participants from each group either trusted or skipped the language model during each component of the task.