[논문 리뷰] "With Great Power Comes Great Responsibility!": Student and Instructor Perspectives on the influence of LLMs on Undergraduate Engineering Education

Ishika Joshi, Ritvik Budhiraja외 8명|arXiv (Cornell University)|2023. 09. 19.

Ferroelectric and Negative Capacitance Devices인용 수 7

한 줄 요약

이 연구는 인도의 대학에서 학부 공과 학생들과 교사들이 ChatGPT를 어떻게 인식하고 있는지 설문조사와 인터뷰를 통해 조사한다. 학술 과제 수행에 널리 사용되고 있으며 학습 지원 측면에서 뚜렷한 이점이 있는 것으로 나타났고, 신뢰성, 프롬프트 기반 사용 방식, 학문적 정직성과 관련된 심각한 과제들이 존재한다. 이를 바탕으로 공학 교육 분야에서 책임감 있는 LLM 통합을 위한 권고안을 제시한다.

ABSTRACT

The rise in popularity of Large Language Models (LLMs) has prompted discussions in academic circles, with students exploring LLM-based tools for coursework inquiries and instructors exploring them for teaching and research. Even though a lot of work is underway to create LLM-based tools tailored for students and instructors, there is a lack of comprehensive user studies that capture the perspectives of students and instructors regarding LLMs. This paper addresses this gap by conducting surveys and interviews within undergraduate engineering universities in India. Using 1306 survey responses among students, 112 student interviews, and 27 instructor interviews around the academic usage of ChatGPT (a popular LLM), this paper offers insights into the current usage patterns, perceived benefits, threats, and challenges, as well as recommendations for enhancing the adoption of LLMs among students and instructors. These insights are further utilized to discuss the practical implications of LLMs in undergraduate engineering education and beyond.

연구 동기 및 목표

• 인도의 학부 공학 교육에서 ChatGPT와 같은 대규모 언어 모델(LLM)의 현재 사용 패턴, 인식된 이점, 과제를 이해하기 위해.
• LLM 사용과 관련된 위험 요소와 윤리적 우려 사항, 특히 학문적 정직성과 생성된 내용에 대한 과도한 의존성과 관련하여 파악하기 위해.
• LLM 기반 교육 도구의 설계를 위한 실천 가능한 권고안을 학생들과 교사들로부터 수집하기 위해.
• LLM의 능력과 한계를 반영하여 수업 방식과 평가 방법을 재설계할 수 있도록 정보를 제공하기 위해.

제안 방법

• 3개의 인도 공과 대학에서 1306명의 학생 설문조사, 112명의 학생 인터뷰, 27명의 교사 인터뷰를 포함한 혼합 방법 연구를 수행하였다.
• 컴퓨터 과학, 전기공학, 기계공학, 토목공학, 화학공학, 생명공학, 인간 중심 설계 등 다양한 공학 분야에서 LLM 사용 상황을 수집하였다.
• 주제 분석을 통해 정성적 응답을 분석하여 사용자 경험, 과제, 권고 사항의 반복 패턴을 식별하였다.
• LLM 출력물에서의 비효율적 프롬프트 기반 사용, 개인 맞춤화 부족, 기계적인 응답으로 인식되는 문제와 같은 사용자 상호작용 과제를 탐색하였다.
• LLM의 사용성 향상을 위한 설계 전략으로는 인라인 학습, 단계별 추론, 설명 가능성 기능, 신뢰도 표시 기능 등을 제안하였다.
• 사용자 상호작용과 접근성 향상을 위해 다중 모odal 프롬프트 북, 앱 내 피드백 메커니즘, 플러그인 확장 기능의 개발을 제안하였다.

(a)

실험 결과

연구 질문

• RQ1 RQ1: 학생들과 교사들이 ChatGPT를 어떻게 사용하고 있으며, 그로 인해 인식하는 이점은 무엇인가요?
• RQ2 RQ2: 학생들과 교사들이 교육 현장에서 ChatGPT를 활용하면서 겪는 과제는 무엇인가요?
• RQ3 RQ3: 교사들은 ChatGPT가 학부 공학 교육에 미치는 영향을 어떻게 평가합니까?
• RQ4 RQ4: ChatGPT는 학생들의 학습과 평가를 향상시키기 위해 어떻게 활용될 수 있나요?

주요 결과

• 설문 조사한 학생들 중 70% 이상이 과제 수행을 위해 ChatGPT를 사용했으며, 문제 해결, 코드 생성, 개념 설명에 활용했다.
• 학생들은 특히 프로그래밍 및 이론 중심 과목에서 복잡한 공학 개념을 이해하는 데 ChatGPT가 유용하다고 자주 언급했다.
• 많은 학생들이 기술적 및 수학적 맥락에서 LLM이 생성한 내용의 진정성과 정확성에 대해 우려를 표명했다.
• 교사들은 혼합된 반응을 보였다. 일부는 LLM을 유용한 교육 보조 수단으로 보았지만, 다른 이들은 과도한 의존이 비판적 사고력과 문제 해결 능력을 약화시킬 수 있다고 우려했다.
• 학생과 교사 모두 더 나은 프롬프트 전략과 훈련이 필요하다고 강조했으며, 명확하지 않거나 반복적인 응답으로 인해 좌절을 겪는 경우가 많았다.
• 연구는 설명 가능성 기능(신뢰도 점수, 단계별 추론 등)에 대한 강력한 수요를 식별했으며, 이는 LLM 상호작용의 신뢰도 향상과 학습 성과 향상에 기여할 수 있다.

(b)