[論文レビュー] PerspectiveCoach: Exploring LLMs for Developer Reflection

Lauren Olson, Emitzá Guzmán+1 more|arXiv (Cornell University)|Jan 5, 2026

Innovative Human-Technology Interaction被引用数 0

ひとこと要約

PerspectiveCoach は OpenAI Custom GPT を用いて開発者を構造化された視点取得演習へ導き、より深い倫理的反省と高い使いやすさを生み出し、人間とAIの研究および人間同士の研究から洞察を得る。

ABSTRACT

Despite growing awareness of ethical challenges in software development, practitioners still lack structured tools that help them critically engage with the lived experiences of marginalized users. This paper presents PerspectiveCoach, a large language model (LLM)-powered conversational tool designed to guide developers through structured perspective-taking exercises and deepen critical reflection on how software design decisions affect marginalized communities. Through a controlled study with 18 front-end developers (balanced by sex), who interacted with the tool using a real case of online gender-based harassment, we examine how PerspectiveCoach supports ethical reasoning and engagement with user perspectives. Qualitative analysis revealed increased self-awareness, broadened perspectives, and more nuanced ethical articulation, while a complementary human-human study contextualized these findings. Text similarity analyses demonstrated that participants in the human-PerspectiveCoach study improved the fidelity of their restatements over multiple attempts, capturing both surface-level and semantic aspects of user concerns. However, human-PerspectiveCoach's restatements had a lower baseline than the human-human conversations, highlighting contextual differences in impersonal and interpersonal perspective-taking. Across the study, participants rated the tool highly for usability and relevance. This work contributes an exploratory design for LLM-powered end-user perspective-taking that supports critical, ethical self-reflection and offers empirical insights (i.e., enhancing adaptivity, centering plurality) into how such tools can help practitioners build more inclusive and socially responsive technologies.

研究の動機と目的

• 設計決定の際にマージナライズされたユーザ視点と関わることで認識的謙虚さを促進する。
• LLM ファシリテーターがより深い倫理的反省と価値の表現をどのように支えるかを探る。
• AI 支援による視点取得と人間のみの対話を比較し、対話ダイナミクスを理解する。
• 現実の開発者ワークフローにおける PerspectiveCoach の使いやすさと関連性を評価する。

提案手法

• OpenAI プラットフォーム上で prompt 主導の適応的フィードバックを備えた Custom GPT として PerspectiveCoach を開発する。
• 文字通りのコピーや道徳判断を促さないプロンプトを通じて忠実性とバイアス回避を強化する。
• ユーザーの熟練度が上がるにつれてサポートを徐々に減らす構造化された支援を提供する。
• コントロールされた AI 研究における18人のフロントエンド開発者を対象とした混合方法評価と、別個の人間同士の研究を実施する。
• テキスト類似度指標（TF–IDF、chrF++、ROUGE-L、SBERT）を用いてユーザーの視点への再表現の忠実性を評価する。
• 将来の研究のためにレプリケーションパッケージを再現・共有する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: PerspectiveCoach は、特にマージナライズされたユーザーからの設計決定と代替視点について、どの程度深い反省を支援するか。
• RQ2 RQ2: 開発者は PerspectiveCoach の使いやすさと設計実践への関連性をどう認識するか。
• RQ3 RQ3: PerspectiveCoach への開発者の関与は、人間同士の会話と比べて対話ダイナミクスや視点取得においてどう異なるか。

主な発見

• 参加者は研究全体を通じて PerspectiveCoach の高い使いやすさと関連性を報告した。
• 定性的分析は自己認識の高まり、視点の拡張、倫理的表現のより微細な表現を示した。
• テキスト類似度分析は人間–AI 研究における再表現の忠実性が複数の試行で改善されたことを示した。
• 人間–AI セットアップでは、個人間の視点取得と比較して、文脈的な違いのため基礎ラインが低くなる傾向があった。
• 人間–AI 研究は、対話のバランスに影響を与える権力の非対称性と確立された関係の欠如を強調した。
• 参加者は PerspectiveCoach を教育的であり、感情と言葉による価値判断の説明を手助けする作文コーチとして捉えた。