[論文レビュー] The Utility of Large Language Models and Generative AI for Education Research

Andrew Katz, Umair Shakir+1 more|arXiv (Cornell University)|May 29, 2023

Topic Modeling被引用数 9

ひとこと要約

本論文は、テキスト埋め込み、クラスタリング、生成型言語モデル（例：GPT-3.5）を用いたワークフローを示し、1,000件を超える工学教育エッセイを主題分析し、スケーラブルな定性的分析のための帰納的および演繹的ラベリング手法を提示します。

ABSTRACT

The use of natural language processing (NLP) techniques in engineering education can provide valuable insights into the underlying processes involved in generating text. While accessing these insights can be labor-intensive if done manually, recent advances in NLP and large language models have made it a realistic option for individuals. This study explores and evaluates a combination of clustering, summarization, and prompting techniques to analyze over 1,000 student essays in which students discussed their career interests. The specific assignment prompted students to define and explain their career goals as engineers. Using text embedding representations of student responses, we clustered the responses together to identify thematically similar statements from students. The clustered responses were then summarized to quickly identify career interest themes. We also used a set of a priori codes about career satisfaction and sectors to demonstrate an alternative approach to using these generative text models to analyze student writing. The results of this study demonstrate the feasibility and usefulness of NLP techniques in engineering education research. By automating the initial analysis of student essays, researchers and educators can more efficiently and accurately identify key themes and patterns in student writing. The methods presented in this paper have broader applications for engineering education and research purposes beyond analyzing student essays. By explaining these methods to the engineering education community, readers can utilize them in their own contexts.

研究の動機と目的

• エンジニアリング教育における非構造化テキストデータを大規模に分析するために、NLPと大型言語モデルをどのように活用できるかを示す。
• 埋め込みとクラスタリングを用いた帰納的でデータ駆動のテーマ識別アプローチを提示する。
• 事前定義されたO*NET SOCおよびキャリア満足度ラベルを用いた演繹的ラベリング手法を示す。
• 授業設計とプログラム開発を支援する初期の定性的分析を自動化する有用性と実現可能性を評価する。

提案手法

• 学生エッセイを高解像度分析のために文レベルのテキストへ変換する。
• 事前学習済みトランスフォーマーエンコーダ（Sentence Transformers mpnet）を用いて文を埋め込み、意味ベクトルを取得する。
• 文の埋め込みを凝集的クラスタリングでクラスタリングし、主題的に類似した表現を識別する。
• 各クラスタの中核テーマを要約するためにGPT-3.5を用いて15語の要約を生成する。
• 15語の要約をクラスタリングして主要テーマを統合する。
• 最終テーマクラスタごとに3–5語のラベルを生成するようGPT-3.5にプロンプトを与え、初期コードブックを作成する。

実験結果

リサーチクエスチョン

• RQ1 埋め込みとクラスタリングは、意味的に類似した表現を識別して、学生のキャリア興味エッセイに潜むテーマを明らかにできるか？
• RQ2 生成型言語モデルは、ラベルなしのテキストに対して意味のある、簡潔なテーマラベルと分類を生成できるか？
• RQ3 工学教育の文章に注釈を付ける際、帰納的ラベリング法と演繹的ラベリング法（O*NET SOCおよびキャリア満足度コードを用いる）の有効性はどの程度か？
• RQ4 モデルはラベリング精度を自己評価して人手によるキュレーション作業を減らすことができるか？

主な発見

• NLP技術は、1,000件を超える学生エッセイから主要なキャリア興味のテーマを現実的に特定できる。
• 複数段階の帰納的ワークフローは、学生の文章の主要なパターンを捉えるテーマ的にラベル付けされたコードを生み出す。
• 演繹的ラベリングは、O*NET SOCコードとキャリア満足要因を用いて、プロンプトを介して学生テキストに事前定義されたラベルを適用できる。
• モデルはラベルの適用性を評価することで精度チェックを実行でき、検証された例では人間の判断と相関する。
• 自動化は初期の定性的分析時間を短縮しつつ、教育戦略とプログラム計画に関連するテーマを保持する。