[논문 리뷰] The Utility of Large Language Models and Generative AI for Education Research

Andrew Katz, Umair Shakir외 1명|arXiv (Cornell University)|2023. 05. 29.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 텍스트 임베딩, 클러스터링 및 생성형 언어 모델(예: GPT-3.5)을 사용한 워크플로를 통해 1,000개가 넘는 공학 교육 에세이를 주제별로 분석하고 확장 가능한 정성 분석을 위한 귀납적 및 연역적 라벨링 접근법을 보여줍니다.

ABSTRACT

The use of natural language processing (NLP) techniques in engineering education can provide valuable insights into the underlying processes involved in generating text. While accessing these insights can be labor-intensive if done manually, recent advances in NLP and large language models have made it a realistic option for individuals. This study explores and evaluates a combination of clustering, summarization, and prompting techniques to analyze over 1,000 student essays in which students discussed their career interests. The specific assignment prompted students to define and explain their career goals as engineers. Using text embedding representations of student responses, we clustered the responses together to identify thematically similar statements from students. The clustered responses were then summarized to quickly identify career interest themes. We also used a set of a priori codes about career satisfaction and sectors to demonstrate an alternative approach to using these generative text models to analyze student writing. The results of this study demonstrate the feasibility and usefulness of NLP techniques in engineering education research. By automating the initial analysis of student essays, researchers and educators can more efficiently and accurately identify key themes and patterns in student writing. The methods presented in this paper have broader applications for engineering education and research purposes beyond analyzing student essays. By explaining these methods to the engineering education community, readers can utilize them in their own contexts.

연구 동기 및 목표

• 공학 교육에서 비정형 텍스트 데이터를 규모 있게 분석하는 데 NLP와 대형 언어 모델을 사용할 수 있는 방법을 시연합니다.
• 임베딩과 클러스터링을 통한 데이터 주도적 방식으로 주제 식별에 대한 귀납적 접근을 보여줍니다.
• 미리 정의된 O*NET SOC 및 경력 만족도 라벨을 사용한 연역적 라벨링 접근을 시연합니다.
• 초기 정성 분석의 자동화를 통해 교수 및 프로그램 개발에 정보를 제공하는 데 있어 유용성과 실행 가능성을 평가합니다.

제안 방법

• 고해상도 분석을 위해 학생 에세이를 문장 단위 텍스트로 변환합니다.
• 사전 학습된 트랜스포머 인코더(Sentence Transformers mpnet)로 문장을 임베딩하여 의미 벡터를 얻습니다.
• 문장 임베딩을 응집적(agglomerative) 클러스터링으로 클러스터링하여 주제적으로 유사한 진술을 식별합니다.
• GPT-3.5를 사용하여 각 클러스터의 15단어 요약을 생성해 핵심 주제를 도출합니다.
• 15단어 요약을 클러스터링하여 주요 주제를 통합합니다.
• 최종 주제 클러스터마다 3–5 단어 라벨을 생성하도록 GPT-3.5를 프롬프트하여 초기 코드북을 형성합니다.

실험 결과

연구 질문

• RQ1 임베딩과 클러스터링이 semantically 유사한 진술을 식별하여 학생 경력 관심 에세이의 근본적인 주제를 드러낼 수 있는가?
• RQ2 생성형 언어 모델이 라벨이 없는 텍스트에 대해 의미 있고 간결한 주제 라벨과 분류를 생성할 수 있는가?
• RQ3 귀납적 대 연역적 라벨링 접근(OT*NET SOC 및 경력 만족도 코드)를 통해 공학 교육 글에 주석을 다는 데 어느 정도 효과가 있는가?
• RQ4 모델이 라벨링 정확도를 자체 평가하여 인간의 선별 노력을 줄일 수 있는가?

주요 결과

• NLP 기술은 1,000건이 넘는 학생 에세이에서 주요 경력 관심 주제를 식별하는 데 실현 가능하다.
• 다단계 귀납 워크플로우가 학생 글의 주요 패턴을 포착하는 주제별 라벨 코드를 산출한다.
• O*NET SOC 코드 및 경력 만족도 요인을 이용한 연역적 라벨링은 프롬프팅을 통해 학생 텍스트에 미리 정의된 라벨을 적용할 수 있다.
• 모델은 라벨 적용의 정확도 점수를 매김으로써 인간 판단과의 상관 관계를 보여주는 정확도 점검을 수행할 수 있다.
• 자동화는 초기 정성 분석 시간을 줄이면서 교수 전략 및 프로그램 기획에 관련된 주제를 보존한다.