[논문 리뷰] PerspectiveCoach: Exploring LLMs for Developer Reflection

Lauren Olson, Emitzá Guzmán외 1명|arXiv (Cornell University)|2026. 01. 05.

Innovative Human-Technology Interaction인용 수 0

한 줄 요약

PerspectiveCoach는 OpenAI Custom GPT를 사용하여 개발자를 구조화된 관점 채택 연습으로 안내하고, 더 깊은 윤리적 성찰과 더 높은 사용성을 이끌어내며 인간–AI 및 인간–간 연구의 통찰을 제공합니다.

ABSTRACT

Despite growing awareness of ethical challenges in software development, practitioners still lack structured tools that help them critically engage with the lived experiences of marginalized users. This paper presents PerspectiveCoach, a large language model (LLM)-powered conversational tool designed to guide developers through structured perspective-taking exercises and deepen critical reflection on how software design decisions affect marginalized communities. Through a controlled study with 18 front-end developers (balanced by sex), who interacted with the tool using a real case of online gender-based harassment, we examine how PerspectiveCoach supports ethical reasoning and engagement with user perspectives. Qualitative analysis revealed increased self-awareness, broadened perspectives, and more nuanced ethical articulation, while a complementary human-human study contextualized these findings. Text similarity analyses demonstrated that participants in the human-PerspectiveCoach study improved the fidelity of their restatements over multiple attempts, capturing both surface-level and semantic aspects of user concerns. However, human-PerspectiveCoach's restatements had a lower baseline than the human-human conversations, highlighting contextual differences in impersonal and interpersonal perspective-taking. Across the study, participants rated the tool highly for usability and relevance. This work contributes an exploratory design for LLM-powered end-user perspective-taking that supports critical, ethical self-reflection and offers empirical insights (i.e., enhancing adaptivity, centering plurality) into how such tools can help practitioners build more inclusive and socially responsive technologies.

연구 동기 및 목표

• 설계 결정 과정에서 개발자가 소외된 사용자 관점에 참여하도록 함으로써 인식적 겸손을 촉진한다.
• LLM 촉진자가 더 깊은 윤리적 성찰과 가치의 표현을 어떻게 지원하는지 탐구한다.
• AI 지원 관점 채택과 인간 간 상호작용만의 비교를 통해 대화 역학을 이해한다.
• 현실 세계 개발자 워크플로에서 PerspectiveCoach의 사용성 및 관련성을 평가한다.

제안 방법

• Prompt 기반의 적응 피드백을 갖춘 OpenAI 플랫폼의 Custom GPT로 PerspectiveCoach를 개발한다.
• 직역 복사 및 도덕적 판단을 억제하는 프롬프트를 통해 충실성 및 편향 회피를 강화한다.
• 사용자의 숙련도가 향상됨에 따라 점차 지원을 축소하는 체계적 발판을 제공한다.
• 제어된 AI 연구에서 18명의 프런트엔드 개발자와 별도의 인간–인간 연구를 포함한 혼합 방법 평가를 수행한다.
• 텍스트 유사도 지표(TF–IDF, chrF++, ROUGE-L, SBERT)를 사용하여 사용자의 관점에 대한 재진술의 충실성을 평가한다.
• 향후 연구를 위해 재현 패키지를 재현하고 공유한다.

실험 결과

연구 질문

• RQ1 RQ1: PerspectiveCoach가 설계 결정 및 대안적 관점, 특히 소외된 사용자로부터의 관점에 대한 더 깊은 성찰을 얼마나 지원하는가?
• RQ2 RQ2: 개발자들이 PerspectiveCoach의 사용성 및 설계 실무에서의 관련성을 어떻게 인식하는가?
• RQ3 RQ3: 대화 역학 및 관점 채택 측면에서 개발자들이 PerspectiveCoach와 인간–인간 대화를 어떻게 비교하는가?

주요 결과

• 참가자들은 연구 전반에 걸쳐 PerspectiveCoach의 높은 사용성 및 관련성을 보고했다.
• 정성적 분석은 자각 증대, 관점 확장, 더 미묘한 윤리적 표현을 보여주었다.
• 인간–AI 연구에서 재진술의 충실도가 여러 차례 시도에서 개선되었음을 텍스트 유사도 분석이 시사했다.
• 인간–인간 대화와 비교할 때, 인간–AI 맥락에서의 재진술은 비인격적 대 인격적 관점 채택의 맥락 차이로 인해 기본선이 낮았다.
• 인간–AI 연구는 대화 균형에 영향을 주는 요인으로 권력 비대칭성과 확립된 관계의 부재를 강조했다.
• 참가자들은 PerspectiveCoach를 교육적이라고 묘사했고 감정과 가치 기반 추론을 표현하는 데 도움이 되는 작문 코치로 보았다。