[논문 리뷰] "The teachers are confused as well": A Multiple-Stakeholder Ethics Discussion on Large Language Models in Computing Education

Kyrie Zhixuan Zhou, Zachary Kilhoffer외 6명|arXiv (Cornell University)|2024. 01. 23.

Text Readability and Simplification인용 수 11

한 줄 요약

이 논문은 컴퓨터과학 교육의 이해관계자 20명을 대상으로 질적 사례 연구를 통해 LLM의 윤리적 문제, 사고 모델, 그리고 교육에서의 정책 필요성을 탐구한다.

ABSTRACT

Large Language Models (LLMs) are advancing quickly and impacting people's lives for better or worse. In higher education, concerns have emerged such as students' misuse of LLMs and degraded education outcomes. To unpack the ethical concerns of LLMs for higher education, we conducted a case study consisting of stakeholder interviews (n=20) in higher education computer science. We found that students use several distinct mental models to interact with LLMs - LLMs serve as a tool for (a) writing, (b) coding, and (c) information retrieval, which differ somewhat in ethical considerations. Students and teachers brought up ethical issues that directly impact them, such as inaccurate LLM responses, hallucinations, biases, privacy leakage, and academic integrity issues. Participants emphasized the necessity of guidance and rules for the use of LLMs in higher education, including teaching digital literacy, rethinking education, and having cautious and contextual policies. We reflect on the ethical challenges and propose solutions.

연구 동기 및 목표

• 다양한 이해관계자로부터 LLM 사용과 관련된 고등교육 CS 교육의 윤리적 문제를 검토한다.
• 학생과 교사가 코딩, 글쓰기, 정보 검색 과제에서 LLM을 어떻게 개념화하고 상호작용하는지 파악한다.
• CS 교육에서 LLM 사용을 분류하고 그 윤리적 함의를 담은 사고모형 프레임워크를 개발한다.
• 교육 관련 지침에 대한 이해관계자 제안을 요약하여 정책 및 거버넌스 논의를 돕는다.

제안 방법

• 20명의 CS 교육 이해관계자(학생, 교수, 산업 종사자)를 대상으로 심층 인터뷰를 수행했다.
• 인터뷰 데이터를 전사하고 코딩하기 위해 이론적 분석법(Braun and Clarke, 2012)을 적용했다.
• 열린 귀납적 코딩과 반복 토의를 통해 주제와 계층구조를 도출했다.
• 참여자의 응답을 바탕으로 세 가지 모델의 사고모형(Writing Tool, Coding Tool, Information Tool)을 정의하고 다듬었다.
• 사용 맥락과 윤리를 이해하기 위해 ChatGPT-3.5의 경험을 다른 AI 도구와 비교했다.

실험 결과

연구 질문

• RQ1 CS 교육 이해관계자들이 고등교육에서 LLM 사용에 대해 인식하는 윤리적 문제는 무엇인가?
• RQ2 다양한 이해관계자들이 글쓰기, 코딩, 정보 검색 과제에서 LLM을 어떻게 설명하고 상호작용하는가?
• RQ3 CS 교육에서 윤리적이고 효과적인 LLM 사용을 지원하기 위해 이해관계자들이 제안하는 정책 및 거버넌스 메커니즘은 무엇인가?
• RQ4 사고모형 프레임워크가 LLM을 둘러싼 CS 교육 정책과 실천을 어떻게 이끌 수 있는가?

주요 결과

• 이해관계자들은 LLM이 글쓰기, 코딩, 정보 검색에 사용된다고 보고하며 각 사용 사례에 따라 윤리적 함의가 달라진다고 지적한다.
• 일반적 우려에는 부정확성, 망상, 편향, 개인정보 누설, 학문적 성실성 위협이 포함된다.
• 참가자들은 명시적이지만 관대하고, 디지털 리터러시 교육과 맥락에 맞는 거버넌스를 지향하며 전면적 금지를 원하지 않는 경우가 많다.
• 세 가지 모델의 사고 프레임(Writing Tool, Coding Tool, Information Tool)은 사용 사례를 윤리적 고려 및 안전장치와 매핑하는 데 도움이 된다.
• 정책 논의는 거버넌스, 투명성, 교육에 무게를 두고 직장에서의 AI 활용에 대비한 학생들을 준비시키는 방향으로 진행되어야 한다.