[论文解读] PerspectiveCoach: Exploring LLMs for Developer Reflection

Lauren Olson, Emitzá Guzmán+1 more|arXiv (Cornell University)|Jan 5, 2026

Innovative Human-Technology Interaction被引用 0

一句话总结

简要概述：PerspectiveCoach 使用 OpenAI Custom GPT 指导开发者进行结构化的透视练习，从而获得更深的道德反思和更高的可用性，并来自人机与人际研究的洞见。

ABSTRACT

Despite growing awareness of ethical challenges in software development, practitioners still lack structured tools that help them critically engage with the lived experiences of marginalized users. This paper presents PerspectiveCoach, a large language model (LLM)-powered conversational tool designed to guide developers through structured perspective-taking exercises and deepen critical reflection on how software design decisions affect marginalized communities. Through a controlled study with 18 front-end developers (balanced by sex), who interacted with the tool using a real case of online gender-based harassment, we examine how PerspectiveCoach supports ethical reasoning and engagement with user perspectives. Qualitative analysis revealed increased self-awareness, broadened perspectives, and more nuanced ethical articulation, while a complementary human-human study contextualized these findings. Text similarity analyses demonstrated that participants in the human-PerspectiveCoach study improved the fidelity of their restatements over multiple attempts, capturing both surface-level and semantic aspects of user concerns. However, human-PerspectiveCoach's restatements had a lower baseline than the human-human conversations, highlighting contextual differences in impersonal and interpersonal perspective-taking. Across the study, participants rated the tool highly for usability and relevance. This work contributes an exploratory design for LLM-powered end-user perspective-taking that supports critical, ethical self-reflection and offers empirical insights (i.e., enhancing adaptivity, centering plurality) into how such tools can help practitioners build more inclusive and socially responsive technologies.

研究动机与目标

• 通过使开发者在设计决策中参与边缘化用户视角来促进认识论谦逊。
• 探索一个 LLM 系统主持人如何支持更深的道德反思与价值表达。
• 比较 AI 辅助的透视能力与纯人际互动，以理解对话 Dynamics。
• 评估 PerspectiveCoach 在真实开发者工作流中的可用性和相关性。

提出的方法

• 将 PerspectiveCoach 开发为 OpenAI 平台上的 Custom GPT，采用提示驱动、可自适应的反馈。
• 通过提示来抑制逐字复制和道德评判，确保忠实性与偏见规避。
• 提供结构化的支架，随着用户熟练度提升逐步减少帮助。
• 在受控的 AI 研究中对 18 名前端开发者进行混合方法评估，并在单独的人机研究中进行比较。
• 使用文本相似度指标（TF–IDF、chrF++、ROUGE-L、SBERT）评估对用户视角的复述忠实性。
• 复制并分享一个可复现的打包，以便未来工作。

实验结果

研究问题

• RQ1 RQ1：PerspectiveCoach 在多大程度上支持对设计决策及来自边缘化用户的替代视角进行更深层次的反思？
• RQ2 RQ2：开发者如何看待 PerspectiveCoach 在其设计实践中的可用性和相关性？
• RQ3 RQ3：开发者使用 PerspectiveCoach 与人际对话相比，在对话动力学和透视取向方面有何不同？

主要发现

• 参与者在整个研究中报告了 PerspectiveCoach 的高可用性和相关性。
• 定性分析显示自我意识增强、视角拓展以及更细致的道德表达。
• 文本相似度分析表明在多人机研究中对复述忠实性的改进。
• 与人际对话相比，人机环境中的复述基线较低，原因在于客观化与人际透视中的情境差异。
• 人机研究强调权力不对称和缺乏既定关系等因素对对话平衡的影响。
• 参与者将 PerspectiveCoach 描述为具有教育性和写作教练功能，帮助表达情感与基于价值的推理。