[논문 리뷰] Leveraging LLM-Respondents for Item Evaluation: a Psychometric Analysis

Yunting Liu, Shreya Bhandari외 1명|arXiv (Cornell University)|2024. 07. 15.

AI and HR TechnologiesBusiness, Management and Accounting인용 수 3

한 줄 요약

이 연구는 교육 평가에서 심리측정 항목 校정을 위한 합성 응답자로 대규모 언어 모델(Large Language Models, LLMs)의 사용을 평가한다. 항목 반응 이론(Item Response Theory, IRT)을 적용하여 GPT-3.5 및 앙상블 LLM 응답이 인간의 능력 분포를 유사하게 반영하고, 인간 캘리브레이션 데이터와 높은 상관관계(r > 0.87)를 보이며 항목 파라미터를 추정함을 발견하였다. 특히, 재표본추출을 통한 데이터 증강 기법을 적용하면 상관관계가 0.93으로 향상되어 형성적 및 요약적 평가를 위한 스케일러블하고 저비용의 항목 평가가 가능함을 시사한다.

ABSTRACT

Effective educational measurement relies heavily on the curation of well-designed item pools (i.e., possessing the right psychometric properties). However, item calibration is time-consuming and costly, requiring a sufficient number of respondents for the response process. We explore using six different LLMs (GPT-3.5, GPT-4, Llama 2, Llama 3, Gemini-Pro, and Cohere Command R Plus) and various combinations of them using sampling methods to produce responses with psychometric properties similar to human answers. Results show that some LLMs have comparable or higher proficiency in College Algebra than college students. No single LLM mimics human respondents due to narrow proficiency distributions, but an ensemble of LLMs can better resemble college students' ability distribution. The item parameters calibrated by LLM-Respondents have high correlations (e.g. > 0.8 for GPT-3.5) compared to their human calibrated counterparts, and closely resemble the parameters of the human subset (e.g. 0.02 Spearman correlation difference). Several augmentation strategies are evaluated for their relative performance, with resampling methods proving most effective, enhancing the Spearman correlation from 0.89 (human only) to 0.93 (augmented human).

연구 동기 및 목표

• 심리측정 모델을 활용하여 LLM이 교육 평가에서 인간의 응답 패턴을 어떻게 시뮬레이션할 수 있는지 평가하는 것.
• LLM으로 생성된 응답 데이터를 사용하여 캘리브레이션한 항목의 심리측정적 성질과 인간 응답을 기반으로 한 결과를 비교하는 것.
• LLM 응답자 데이터와 인간 데이터를 조합하는 데이터 증강 전략이 캘리브레이션 정확도를 향상시키는지 평가하는 것.
• 형성적 및 요약적 평가에서 빠르고 저비용으로 항목를 정제하는 데 LLM을 활용할 수 있는지 탐색하는 것.

제안 방법

• OpenStax의 20道 대학 대수학 문제를 기반으로, GPT-3.5, GPT-4, Llama 2, Llama 3, Gemini-Pro, Cohere Command R Plus 등 6종의 LLM에 각각 150건의 응답을 생성하였다.
• 항목 반응 이론(Item Response Theory, IRT)를 적용하여 인간 및 LLM 기반 응답 데이터로부터 항목 파라미터(난이도, 구분도)를 캘리브레이션하였다.
• LLM 기반 캘리브레이션과 인간 기반 캘리브레이션의 항목 파라미터 간 유사성을 평가하기 위해 스피어먼 및 피어슨 상관계수를 산출하였다.
• 세 가지 증강 전략을 테스트: 직접 조합, LLM 데이터의 재표본추출, 재표본화된 LLM 데이터와 인간 데이터의 1:1 혼합.
• 재표본추출을 통해 LLM 응답자의 능력 분포를 개선하여 왜도를 감소시키고 인간의 이중모드 분포를 더 잘 반영하도록 하였다.
• 모델 성능 평가에 상관계수, RMSE, 인간 기준 분포와의 비교를 활용하였다.

Figure 1: Item parameters calibrated by human respondents

실험 결과

연구 질문

• RQ1 RQ1: IRT로 측정한 수학 능력에서 인간 응답자와 가장 유사한 능력 패턴을 보이는 LLM 또는 LLM 조합은 무엇인가?
• RQ2 RQ2: LLM 기반 응답자로 캘리브레이션한 항목의 심리측정적 성질은 인간 응답자로 캘리브레이션한 결과와 어떻게 비교되는가?
• RQ3 RQ3: 인간 응답 데이터에 LLM 기반 응답자 데이터를 증강하여, 더 큰 인간 샘플에서 유도된 항목 파라미터와 유사한 결과를 도출할 수 있는가?

주요 결과

• GPT-3.5가 인간 응답자와 가장 유사한 성능을 보이며, 인간 캘리브레이션 항목 파라미터와 스피어먼 상관계수 0.87을 기록하였다.
• 재표본추출 전략을 적용한 LLM 응답자 앙상블은 LLM-와 인간 캘리브레이션 파라미터 간 상관계수를 0.89에서 0.93으로 향상시켰다.
• 단일 LLM은 능력 분포의 범위가 좁아 인간의 능력 분포를 완전히 재현하지 못했지만, 재표본추출을 적용한 앙상블은 인간의 이중모드 분포를 더 잘 근사하였다.
• 가장 효과적인 증강 전략인 재표본화된 LLM과 인간 데이터의 1:1 혼합은 스피어먼 상관계수를 0.04, 피어슨 상관계수를 0.01 향상시켰지만, 이는 RMSE 또한 증가시켰다.
• LLM 응답자(예: GPT-3.5에서 생성한 150건의 응답)가 인간 데이터와 상관계수 0.87을 보이며, 이는 50명의 인간 응답자 샘플과 유사한 결과를 도출하였다.
• 본 연구는 IRT를 통해 다수의 LLM에서 새로운, 처음으로 보고된 능력 분포 패턴을 규명하였으며, 점근적 추정을 넘어서 전반적인 전문성 분포를 모델링하는 데 기여하였다.

Figure 2: Proficiency distribution by Generating Models