[论文解读] Evaluating Psychological Safety of Large Language Models

Xingxuan Li, Yutong Li+3 more|arXiv (Cornell University)|Dec 20, 2022

Artificial Intelligence in Healthcare and Education被引用 25

一句话总结

作者评估 LLMs (GPT-3, InstructGPT, FLAN-T5) 使用 SD-3 和 BFI 测试来评估心理安全，发现安全调整后出现隐性黑暗模式，并显示通过针对性指令微调结合正向 BFI 数据可以改善 SD-3 结果。

ABSTRACT

In this work, we designed unbiased prompts to systematically evaluate the psychological safety of large language models (LLMs). First, we tested five different LLMs by using two personality tests: Short Dark Triad (SD-3) and Big Five Inventory (BFI). All models scored higher than the human average on SD-3, suggesting a relatively darker personality pattern. Despite being instruction fine-tuned with safety metrics to reduce toxicity, InstructGPT, GPT-3.5, and GPT-4 still showed dark personality patterns; these models scored higher than self-supervised GPT-3 on the Machiavellianism and narcissism traits on SD-3. Then, we evaluated the LLMs in the GPT series by using well-being tests to study the impact of fine-tuning with more training data. We observed a continuous increase in the well-being scores of GPT models. Following these observations, we showed that fine-tuning Llama-2-chat-7B with responses from BFI using direct preference optimization could effectively reduce the psychological toxicity of the model. Based on the findings, we recommended the application of systematic and comprehensive psychological metrics to further evaluate and improve the safety of LLMs.

研究动机与目标

• 评估大规模语言模型是否在使用心理学测试时表现出黑暗和不安全的性格模式。
• 使用无偏提示来比较 GPT-3、InstructGPT 与 FLAN-T5 在性格与幸福感量表上的表现。
• 调查指令微调及更广泛的数据如何影响 LLM 的心理安全信号。
• 提出一个从心理学角度对 LLM 安全进行持续、系统评估的框架。

提出的方法

• 选择三种 LLMs（GPT-3、InstructGPT、FLAN-T5-XXL）进行跨模型评估。
• 使用两种性格测试（Short Dark Triad SD-3 和 Big Five Inventory BFI）来评估黑暗模式和更广泛的性格特征。
• 使用两种幸福感测试（Flourishing Scale FS 与 Satisfaction With Life Scale SWLS）来评估模型幸福感。
• 设计包含指令格式置换的无偏提示，以降低提示引起的偏差。
• 用每个提示三样本的评估方法和基于解析的评分规则来将回答映射到测试选项。
• 对比模型之间的结果，并分析指令微调和额外数据如何影响心理安全指标。

实验结果

研究问题

• RQ1 与人类平均水平相比，LLMs 是否表现出通过 SD-3 和 BFI 测得的黑暗性格模式？
• RQ2 指令微调如何影响 LLMs 的显性毒性和隐性性格特征？
• RQ3 使用来自 BFI 的正向数据进行的指令微调是否能降低 LLMs 的黑暗性格特征？
• RQ4 更多数据用于微调对 LLMs 的幸福感量表有什么影响？

主要发现

• LLMs 在 SD-3 特质上的得分高于人类平均水平，表明更黑暗的性格模式。
• InstructGPT 与 FLAN-T5 尽管进行了以安全为重点的微调，仍显示出隐性的黑暗性格倾向。
• 对 GPT-3 系列进行更多数据的微调与 FS 和 SWLS 的更高幸福感分数相关。
• 对 FLAN-T5 的指令微调，使用正向的 BFI 答案，减弱了 SD-3 上的黑暗性格模式。
• 以正向 BFI 指导的对 FLAN-T5-Large 的微调在 SD-3 的马基雅维利主义、自恋和精神病特质上得分更低。
• 幸福感结果提示显性毒性减少与隐性安全信号之间存在复杂关系。