[논문 리뷰] Robosourcing Educational Resources -- Leveraging Large Language Models for Learnersourcing

Paul Denny, Sami Sarsa외 2명|arXiv (Cornell University)|2022. 11. 09.

Natural Language Processing Techniques인용 수 18

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)인 OpenAI Codex를 활용해 교육용 프로그래밍 연습 문제를 생성하고, 학습자가 입력 프라밍(input priming)과 출력 평가에 참여하는 하이브리드 방식인 robosourcing을 소개한다. 실험 결과 LLM이 생성한 문제 중 약 33%가 교육 현장에서 직접 사용 가능했으며, 이는 인간의 노력을 크게 줄이고 품질을 유지함으로써 학습자 소싱(learnersourcing)에서의 동기 부여와 품질 문제를 효과적으로 해결함을 시사한다.

ABSTRACT

In this article, we introduce and evaluate the concept of robosourcing for creating educational content. Robosourcing lies in the intersection of crowdsourcing and large language models, where instead of a crowd of humans, requests to large language models replace some of the work traditionally performed by the crowd. Robosourcing includes a human-in-the-loop to provide priming (input) as well as to evaluate and potentially adjust the generated artefacts; these evaluations could also be used to improve the large language models. We propose a system to outline the robosourcing process. We further study the feasibility of robosourcing in the context of education by conducting an evaluation of robosourced and programming exercises, generated using OpenAI Codex. Our results suggest that robosourcing could significantly reduce human effort in creating diverse educational content while maintaining quality similar to human-created content.

연구 동기 및 목표

• 학습자 소싱에서의 낮은 학습 동기와 일관되지 않은 콘텐츠 품질 문제를 해결하기 위해 대규모 언어 모델(LLMs)을 과정에 통합하는 것.
• LLM이 생성한 교육 콘텐츠가 학습자가 사용할 수 있는 실질적인 기초 자료로 기능할 수 있는지 평가하는 것.
• LLM을 학습자 소싱에서의 스텝스톤 도구로 활용할 수 있는지 가능성 탐색하여, 학습자의 역할을 창작자에서 평가자로 전환하는 것.
• 교육적 맥락에서 LLM이 생성한 프로그래밍 연습 문제의 품질, 독창성, 활용 가능성을 평가하는 것.
• 학습자 평가의 피드백이 LLM의 교육 콘텐츠 생성 능력을 향상시키는 데 기여할 수 있는지 탐구하는 것.

제안 방법

• 학습자가 제공한 자연어 프롬프트를 기반으로 OpenAI Codex를 LLM으로 활용해 프로그래밍 연습 문제를 생성함.
• 주제, 개념, 작업 기술서 등 구조화된 프라밍을 사용해 도메인 특화 문제 생성을 유도함.
• 학습자가 정의된 기준에 따라 생성된 문제의 정확성, 명확성, 활용 가능성을 평가하는 인간-중심 모델을 도입함.
• 기능적 정확성을 보장하기 위해 자동화된 테스팅을 적용함.
• 기존 자료와의 중복 여부를 확인하기 위해 Google 검색을 활용해 문제의 독창성 평가함.
• 콘텐츠 품질과 문제 기술서에 대한 잠재적 편향 여부를 수집함.

실험 결과

연구 질문

• RQ1 OpenAI Codex와 같은 LLM이 교육 현장에서 사용할 수 있는 수준의 품질의 프로그래밍 연습 문제를 생성할 수 있는가?
• RQ2 학습자가 robosourced 문제를 평가하고 수정하는 데 얼마나 적합하게 느끼는가?
• RQ3 LLM이 생성한 문제의 품질과 독창성은 인간이 생성한 콘텐츠와 비교해 어떻게 다른가?
• RQ4 LLM의 사용이 학습자 소싱에서 콘텐츠 창작 작업에 대한 동기 부여와 참여도에 어떤 영향을 미치는가?
• RQ5 학습자가 LLM이 생성한 콘텐츠에 대해 제공한 평가 피드백이 LLM 자체의 성능 향상에 기여할 수 있는가?

주요 결과

• LLM이 생성한 프로그래밍 연습 문제 중 약 1/3(33%)가 모든 평가 기준을 충족해 교육 현장에서 직접 사용 가능함.
• Google 검색을 통한 검증 결과, 90% 이상의 생성 문제들이 독창적이며 기존 자료와의 중복이 거의 없음.
• 주제와 개념 면에서 다양성이 있었으며, '음악'과 같은 주제나 '클래스', '리스트', '조건문'과 같은 개념들은 프롬프트 엔지니어링을 통해 쉽게 조정 가능함.
• 학습자가 문제를 효율적으로 평가하고 수정할 수 있었으며, 이는 콘텐츠 창작에서 콘텐츠 큐레이션으로의 역할 전환 가능성이 있음을 시사함.
• 생성된 문제에 악성 콘텐츠나 개인 식별 정보는 발견되지 않았지만, 문제 기술서에서 성별 편향이 관찰됨(예: 남성 이름이 더 자주 사용됨).
• 학습자 평가의 피드백은 향후 LLM의 교육 콘텐츠 생성 능력을 향상시키기 위한 피드백 훈련(fine-tuning)에 활용 가능할 것으로 보임.