[논문 리뷰] Towards Mitigating ChatGPT's Negative Impact on Education: Optimizing Question Design through Bloom's Taxonomy

Saber Elsayed|arXiv (Cornell University)|2023. 03. 31.

Online Learning and Analytics인용 수 4

한 줄 요약

이 논문은 블룸의 분류 기준 키워드를 선택하기 위해 유전적 최적화를 사용하는 진화 알고리즘을 제안한다. 이 알고리즘은 챗지피티가 낮은 자신감으로 답변하는 프로그래밍 문제를 생성한다. 고차원 인지 기술(예: 분석, 평가, 창조)을 대상으로 하여, 챗지피티의 평균 자신감을 95%에서 45%로 낮추며, 일부 질문에 대해서는 자신감이 0%로 떨어지게 하여 교육자들이 비판적 사고를 장려하고 AI 의존도를 줄일 수 있는 평가를 설계하는 데 기여한다.

ABSTRACT

The popularity of generative text AI tools in answering questions has led to concerns regarding their potential negative impact on students' academic performance and the challenges that educators face in evaluating student learning. To address these concerns, this paper introduces an evolutionary approach that aims to identify the best set of Bloom's taxonomy keywords to generate questions that these tools have low confidence in answering. The effectiveness of this approach is evaluated through a case study that uses questions from a Data Structures and Representation course being taught at the University of New South Wales in Canberra, Australia. The results demonstrate that the optimization algorithm is able to find keywords from different cognitive levels to create questions that ChatGPT has low confidence in answering. This study is a step forward to offer valuable insights for educators seeking to create more effective questions that promote critical thinking among students.

연구 동기 및 목표

• 채팅지피티와 같은 생성형 AI 도구가 학생들의 학습과 평가의 신뢰성에 악영향을 미치고 AI 기반 답변에 대한 과도한 의존을 유도한다는 점이 점점 더 큰 우려가 되고 있는 데에 대응하기 위해.
• 특정 조합의 블룸의 분류 기준 키워드를 식별하여, 특히 프로그래밍 수업에서 교육적 질문에 대해 AI의 자신감을 낮추는 데 목적이 있다.
• 시스템적으로 질문 변형을 진화시켜 AI 추론 능력을 시험할 수 있는 진화 최적화 방법을 개발하기 위해.
• AI 간섭을 최소화하면서 깊이 있는 학습과 비판적 사고를 장려할 수 있도록 교육자들이 평가를 설계할 수 있도록 지원하기 위해.
• 최적화된 질문에 대해 AI가 생성한 답변이 자신감이 낮을 뿐 아니라 자주 틀리거나 부족한지 검증하기 위해.

제안 방법

• 유전 알고리즘(GA)에 기반한 진화 알고리즘을 사용하여, 블룸의 분류 기준 키워드 조합을 나타내는 염색체를 진화시킨다.
• 각 염색체는 생성형 AI 도구(예: 챗지피티)를 통해 새로운 질문 변형을 생성하고, AI가 그 질문에 답변할 때의 자신감 점수를 최소화하는 목적함수로 사용한다.
• 다수의 세대에 걸쳐 선택, 교차, 돌연변이를 적용하여 AI의 자신감을 최소화하는 키워드 조합을 진화시킨다.
• 브루트 포스 탐색을 피하기 위해, 다양한 인지 수준에서 키워드 집합을 지능적으로 진화시키는 방식으로 검색 공간을 최적화한다.
• 이 방법은 뉴사우스웨일즈 캔버라 대학교의 데이터 구조 및 표현 수업에서 실제 사용된 프로그래밍 질문들에 대해 평가되었다.
• 최적화된 질문에 대한 답변은 수업 인structor에 의해 수동으로 검증되어 정확성과 완전성을 평가하였으며, 이는 AI의 한계를 드러내는 데 기여했다.

실험 결과

연구 질문

• RQ1 진화 알고리즘이 챗지피티의 프로그래밍 질문에 대한 자신감을 크게 낮추는 특정 블룸의 분류 기준 키워드 조합을 식별할 수 있는가?
• RQ2 이러한 키워드 조합은 챗지피티와 같은 생성형 AI 모델의 추론 능력과 답변 품질을 어느 정도 도전할 수 있는가?
• RQ3 최적화된 키워드 집합을 사용해 생성된 질문들은, 자신감이 낮을 경우에도 여전히 잘못되거나 부족한 AI 답변을 유도하는가?
• RQ4 이 방법을 사용해 AI 기반 답변에 덜 취약한 평가를 설계하고, 고차원 사고를 장려할 수 있는가?
• RQ5 다양한 인지 수준(예: 분석, 평가, 창조)을 조합했을 때, 질문 설계에서 AI 자신감을 낮추는 데 어떤 기여를 하는가?

주요 결과

• 최적화 알고리즘이 테스트 세트 전반에서 챗지피티의 평균 자신감을 95%에서 45%로 성공적으로 낮추었다.
• 일부 질문에 대해서는 알고리즘이 자신감이 0%로 떨어지는 질문 변형을 생성하여, 챗지피티가 확신 없이 응답할 수 없음을 보여주었다.
• 가장 성능이 뛰어난 키워드 조합은 블룸의 수준 4~6에서 온 고차원 인지 동사인 '분석', '평가', '검토', '대비' 등을 포함하고 있었다.
• 수동 검증 결과, 최적화된 질문에 대해 AI의 답변은 자신감이 높아도 자주 틀리거나 부족하거나 일반적인 내용이었다.
• 알고리즘은 '분석하고 설계' 또는 '개발하고 구분'과 같은 효과적인 키워드 쌍을 식별하여 프로그래밍 과제에서 AI 추론 능력을 크게 도전할 수 있었다.
• 결과적으로, 다양한 블룸의 분류 기준 키워드를 전략적으로 활용하면 AI 기반 답변 생성을 효과적으로 방해하고 평가의 타당성을 향상시킬 수 있음을 보여주었다.