[論文レビュー] Robosourcing Educational Resources -- Leveraging Large Language Models for Learnersourcing

Paul Denny, Sami Sarsa+2 more|arXiv (Cornell University)|Nov 9, 2022

Natural Language Processing Techniques被引用数 18

ひとこと要約

本論文では、学習者が入力の初期化と出力の評価を提供する一方で、OpenAI Codex などの大規模言語モデル（LLM）を活用して教育的プログラミング演習を生成するハイブリッド手法「ロボソーシング」を紹介する。実証結果から、LLMが生成した演習の約33％が教育現場で直接利用可能であることが示され、人的負担を著しく軽減しながらも品質を維持している。この手法により、学習者ソーシングにおける動機付けと品質の課題が解決される。

ABSTRACT

In this article, we introduce and evaluate the concept of robosourcing for creating educational content. Robosourcing lies in the intersection of crowdsourcing and large language models, where instead of a crowd of humans, requests to large language models replace some of the work traditionally performed by the crowd. Robosourcing includes a human-in-the-loop to provide priming (input) as well as to evaluate and potentially adjust the generated artefacts; these evaluations could also be used to improve the large language models. We propose a system to outline the robosourcing process. We further study the feasibility of robosourcing in the context of education by conducting an evaluation of robosourced and programming exercises, generated using OpenAI Codex. Our results suggest that robosourcing could significantly reduce human effort in creating diverse educational content while maintaining quality similar to human-created content.

研究の動機と目的

• 学習者ソーシングにおける学習者の動機付けの低さとコンテンツ品質のばらつきという課題を、大規模言語モデル（LLM）を統合することで解決すること。
• LLMが生成した教育的コンテンツが、学習者が内容作成の負担を軽減できる有効な出発点として機能するかどうかを評価すること。
• LLMを学習者ソーシングにおけるスキャフォールディングツールとしての可能性を調査し、学習者の役割をコンテンツ作成者から評価者へと転換すること。
• 教育的文脈におけるLLMが生成したプログラミング演習の品質、独創性、利用可能性を評価すること。
• 人間による評価のフィードバックが、教育的コンテンツ生成に特化したLLMの改善に寄与する可能性を検討すること。

提案手法

• 学習者が提供する自然言語のプロンプトに基づき、OpenAI Codex をLLMとして活用し、プログラミング演習を生成した。
• 分野特化した演習を生成するため、構造化された初期設定（例：トピック、概念、タスクの説明）を用いてLLMを誘導した。
• 人間が参加するモデルを採用し、学習者が正しさ、明確さ、利用可能性の観点から、事前に定義された基準に従って生成された演習を評価した。
• 自動テストを適用して生成されたコードの機能的正しさを検証し、信頼性を確保した。
• Google検索を用いて、生成された演習が既存のソースから複製されていないかを確認し、独創性を評価した。
• コンテンツの品質や演習記述における潜在的なバイアスに関するフィードバックを収集した。

実験結果

リサーチクエスチョン

• RQ1 OpenAI Codex などのLLMは、教育現場で使用可能な十分な品質のプログラミング演習を生成できるか？
• RQ2 学習者がロボソーシングで生成された演習を、評価や修正の対象としてどれほど適切に受け入れるか？
• RQ3 LLMが生成した演習の品質と独創性は、人間が作成したコンテンツと比べてどの程度か？
• RQ4 LLMの使用が、コンテンツ作成タスクにおける学習者の動機付けと関与度にどのような影響を与えるか？
• RQ5 人間によるLLM生成コンテンツの評価フィードバックは、LLM自体の教育的コンテンツ生成性能の向上に寄与できるか？

主な発見

• LLMが生成したプログラミング演習の約3分の1（33％）が、すべての評価基準を満たし、教育現場で直接利用可能であった。
• 90％以上の生成された演習が、Google検索による確認で独創的であった。これは、既存のコンテンツと重複がほとんどないことを示している。
• テーマや概念の面で多様性があり、『音楽』のようなテーマや『クラス』『リスト』『条件分岐』のような概念は、プロンプト工学により容易に調整可能であった。
• 学習者が演習の評価と修正を効率的に行えた。これは、コンテンツ作成からコンテンツキュレーターへの役割転換が可能で、かつ効果的であることを示唆している。
• 生成された演習には、攻撃的コンテンツや個人を特定できる情報は検出されなかったが、問題の記述において性別バイアスが観察された（例：男性の名前がより頻出）。
• 人間による評価フィードバックは、教育的コンテンツ生成分野におけるLLMのパフォーマンス向上に活用できる可能性がある。