[논문 리뷰] AI and Education: An Investigation into the Use of ChatGPT for Systems Thinking

Holger Arndt|arXiv (Cornell University)|2023. 07. 26.

Complex Systems and Decision Making인용 수 7

한 줄 요약

이 연구는 일반적이고 과목별로 특화된 프롬프트를 사용하여 ChatGPT가 다양한 학문 분야에서 체계적 사고(시스템스틸링, ST)를 지원하는 데에 얼마나 기여하는지 조사한다. 결과적으로 ChatGPT는 대부분 정확하고 유용하며 신뢰할 수 있는 응답을 제공하여, 시스템스틸링 교육에 강력한 교육적 도구로 활용될 잠재력을 보여주지만, 가끔 발생하는 오류로 인해 사용자가 비판적으로 경계할 필요가 있음을 시사한다.

ABSTRACT

This exploratory study investigates the potential of the artificial intelligence tool, ChatGPT, to support systems thinking (ST) in various subjects. Using both general and subject specific prompts, the study assesses the accuracy, helpfulness, and reliability of ChatGPT's responses across different versions of the tool. The results indicate that ChatGPT can provide largely correct and very helpful responses in various subjects, demonstrating its potential as a tool for enhancing ST skills. However, occasional inaccuracies highlight the need for users to remain critical of ChatGPT's responses. Despite some limitations, this study suggests that with careful use and attention to its idiosyncrasies, ChatGPT can be a valuable tool for teaching and learning ST.

연구 동기 및 목표

• 다양한 과목에서 교육적 맥락에서 ChatGPT가 체계적 사고(시스템스틸링, ST)를 얼마나 지원할 수 있는지 정도를 조사하기 위해.
• 일반적이고 과목별로 특화된 프롬프트를 사용하여 ChatGPT의 응답 정확도, 유용성 및 신뢰성을 평가하기 위해.
• ChatGPT와 같은 대규모 언어 모델을 시스템스틸링 교육에 통합할 때의 한계와 사용자 고려사항을 규명하기 위해.
• 학생들이 체계적 사고 능력을 기르는 데 있어 ChatGPT와 같은 AI 도구가 얼마나 확장 가능하고 상호작용적인 보조 수단으로 활용될 수 있는지 평가하기 위해.

제안 방법

• 연구는 다양한 프롬프트를 활용하여 체계적 사고 응답을 이끌어내기 위한 질적 탐색적 접근을 사용하였다.
• 프롬프트는 일반적 체계적 사고 작업과 과학, 사회문화, 윤리 등 특정 과목 적용 사례로 분류되었다.
• 다양한 ChatGPT 버전의 응답을 분석하여, 피드백 루프 및 상호의존성 등의 체계적 사고 원칙과의 일치성, 일관성, 깊이를 평가하였다.
• 정확도, 유용성, 신뢰성 등의 평가 기준을 적용하였으며, 사실적 일관성과 개념적 타당성에 주의를 기울였다.
• 다양한 학문 분야에서 응답 품질의 패턴과 공통적인 오류 유형을 규명하는 데 초점을 맞추었다.

실험 결과

연구 질문

• RQ1 ChatGPT는 체계적 사고 원칙을 반영하는 정확하고 개념적으로 타당한 응답을 얼마나 잘 생성할 수 있는가?
• RQ2 다양한 학문 분야에서 ChatGPT의 응답 품질과 신뢰성은 어떻게 변화하는가?
• RQ3 ChatGPT의 체계적 사고 응답에서 자주 나타나는 오류나 일관성 없는 요소는 어떤 것인가?
• RQ4 교육자는 ChatGPT의 출력물을 어떻게 비판적으로 평가하고 효과적으로 시스템스틸링 교육에 통합할 수 있는가?

주요 결과

• ChatGPT는 피드백 루프 및 상호의존성의 식별을 포함하여 체계적 사고 원칙과 강하게 일치하는 응답을 일관되게 제공하였다.
• 다양한 과목에서 도움이 되고 일관성 있는 응답을 제공하여 교육 현장에서 넓은 적용 가능성을 보였다.
• 대부분의 응답은 사실적으로 정확했지만, 복잡하거나 미묘한 과목 분야에서는 가끔 오류가 관찰되었다.
• ChatGPT의 다양한 버전 간 응답 품질에 약간의 차이가 있었으며, 이는 모델 개선 과정이 성능에 영향을 미칠 수 있음을 시사한다.