[论文解读] Machine Psychology
本文主张通过受心理学启发的行为实验来研究大型语言模型，以获得对涌现能力和行为模式的计算见解，超越标准性能基准。
Large language models (LLMs) show increasingly advanced emergent capabilities and are being incorporated across various societal domains. Understanding their behavior and reasoning abilities therefore holds significant importance. We argue that a fruitful direction for research is engaging LLMs in behavioral experiments inspired by psychology that have traditionally been aimed at understanding human cognition and behavior. In this article, we highlight and summarize theoretical perspectives, experimental paradigms, and computational analysis techniques that this approach brings to the table. It paves the way for a "machine psychology" for generative artificial intelligence (AI) that goes beyond performance benchmarks and focuses instead on computational insights that move us toward a better understanding and discovery of emergent abilities and behavioral patterns in LLMs. We review existing work taking this approach, synthesize best practices, and highlight promising future directions. We also highlight the important caveats of applying methodologies designed for understanding humans to machines. We posit that leveraging tools from experimental psychology to study AI will become increasingly valuable as models evolve to be more powerful, opaque, multi-modal, and integrated into complex real-world settings.
研究动机与目标
- 推动将实验心理学方法应用于LLMs，以理解认知与行为。
- 综合理论视角、实验范式和计算分析技术以构建机器心理学。
- 强调将以人为中心的方法移植到机器时的注意事项。
- 描绘关于涌现的AI能力的稳健、可解释洞察的未来方向。
提出的方法
- 回顾使用受心理学启发的实验方法研究LLMs的现有工作。
- 总结理论视角、实验范式和计算分析技术。
- 综合最佳实践并识别跨领域方法转移的注意事项。
- 提出随着模型演变而发展的机器心理学未来研究方向。
实验结果
研究问题
- RQ1心理学中的哪些实验范式可以有效地适用于研究LLMs？
- RQ2哪些计算分析技术在生成式AI中能揭示超越性能基准的涌现能力？
- RQ3在将以人为中心的方法应用于机器时，会出现哪些注意事项，如何加以缓解？
- RQ4哪些未来方向将提升对AI在复杂现实环境中行为的理解？
主要发现
- LLMs 展现出可以通过受心理学启发的实验来探测的涌现行为。
- 整合实验心理学工具可以产生超越标准基准的计算见解。
- 将以人为导向的方法应用于机器时存在重要注意事项，需要谨慎适应。
- 当模型变得更强大、难以解释、具多模态性并融入现实世界情境时，该方法尤为有价值。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。