[논문 리뷰] Distractor generation for multiple-choice questions with predictive prompting and large language models

Semere Kiros Bitew, Johannes Deleu외 2명|arXiv (Cornell University)|2023. 07. 30.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 사용한 검색 증강 프롬프팅 전략을 통해 다중 선택 문제(MCQ)의 오답 선택지를 개선하는 Dynamic-Demo-ChatGPT를 제안한다. 질문 은행에서 동적으로 관련 질문 항목을 인라인 예시로 검색하여 LLM에 제공함으로써, 생성된 오답 선택지의 품질과 신뢰성은 크게 향상되었으며, 고품질 오답 선택지 비율은 53%에 달하고, 낭만적 출력 비율은 16%로 감소하여, 제로샷 및 피셔샷 LLM 기준선을 모두 능가했다.

ABSTRACT

Large Language Models (LLMs) such as ChatGPT have demonstrated remarkable performance across various tasks and have garnered significant attention from both researchers and practitioners. However, in an educational context, we still observe a performance gap in generating distractors -- i.e., plausible yet incorrect answers -- with LLMs for multiple-choice questions (MCQs). In this study, we propose a strategy for guiding LLMs such as ChatGPT, in generating relevant distractors by prompting them with question items automatically retrieved from a question bank as well-chosen in-context examples. We evaluate our LLM-based solutions using a quantitative assessment on an existing test set, as well as through quality annotations by human experts, i.e., teachers. We found that on average 53% of the generated distractors presented to the teachers were rated as high-quality, i.e., suitable for immediate use as is, outperforming the state-of-the-art model. We also show the gains of our approach 1 in generating high-quality distractors by comparing it with a zero-shot ChatGPT and a few-shot ChatGPT prompted with static examples.

연구 동기 및 목표

• 교육 현장에서 다중 선택 문제(MCQ)의 오답 선택지를 생성하는 데 있어, 오답 선택지가 평가의 타당성에 핵심적인 역할을 하므로, 고품질이고 타당한 오답 선택지를 생성하는 데 도전하는 것.
• ChatGPT와 같은 대규모 언어 모델(LLMs)이 기존의 순위 기반 모델보다 낭만적 또는 관련 없는 오답 선택지를 줄이는 데서 더 우수한 성능을 보일 수 있는지 조사하는 것.
• 동적으로 검색된 인라인 예시를 사용하는 것과 정적 예시를 사용하는 것의 차이가 LLM의 오답 선택지 생성 품질과 신뢰성에 미치는 영향을 평가하는 것.
• 현실 세계의 교육적 활용을 위해 생성된 오답 선택지의 품질과 신뢰성을 향상시키기 위해 국소 순위 기반 모델과 LLM을 융합한 하이브리드 접근법을 개발하는 것.

제안 방법

• 이 방법은 두 단계로 구성된 파이프라인을 사용한다: 첫 번째 단계에서는 국소 검색 모델이 목표 질문과 의미적 유사도 기반으로 질문 은행의 질문 항목을 순위 매긴다.
• 두 번째 단계에서는 상위-k개의 검색된 질문을 인라인 예시로 사용하여, 예측 프롬프팅 전략을 통해 ChatGPT와 같은 대규모 언어 모델(LLM)에 입력한다.
• 프롬프팅 전략은 관련성에 기반해 동적으로 인라인 예시를 선택함으로써, 목표 질문에 대해 의미적으로 적절한 예시를 LLM이 제공받도록 보장한다.
• 이 방법은 인라인 예시 없이 사용하는 제로샷 프롬프팅, 정적 예시를 사용하는 피셔샷 프롬프팅, 그리고 이전 최고 성능을 기록한 순위 기반 모델(DQ-SIM)과 비교된다.
• 인간 전문가(교사)들이 생성된 오답 선택지의 품질(고품질 대 저품질)과 관련성(낭만적 대 타당한)을 평가하며, GDR@10(좋은 오답 선택지 비율)과 NDR@10(낭만적 오답 선택지 비율) 등의 지표를 사용한다.
• 통계적 유의성은 1000회 반복을 수행한 부트스트랩 리샘플링을 통해 다양한 설정 간의 모델 성능을 비교하여 평가한다.

실험 결과

연구 질문

• RQ1 RQ1: 순위 기반 모델과 비교할 때, ChatGPT는 교육용 다중 선택 문제에 대해 고품질 오답 선택지를 생성할 수 있는가?
• RQ2 RQ2: ChatGPT가 생성한 오답 선택지에 얼마나 신뢰를 두어야 하는가? 그 신뢰성은 어떻게 측정할 수 있는가?
• RQ3 RQ3: 순위 기반 모델과 LLM을 융합함으로써 오답 선택지 생성 능력을 향상시킬 수 있는가?

주요 결과

• Dynamic-Demo-ChatGPT 모델은 GDR@10이 46.7%로, DQ-SIM 모델(44.6%)과 Zero-ChatGPT 기준선을 뛰어넘는 성과를 기록했다.
• Dynamic-Demo-ChatGPT 모델은 NDR@10을 15.5%로 낮춰, DQ-SIM 모델이 보고한 50.1%의 NDR@10보다 뚜렷한 개선을 이룩했다.
• 평균적으로 Dynamic-Demo-ChatGPT가 생성한 오답 선택지 중 53%가 전문 교사들에 의해 고품질로 평가되어 즉각적인 평가 활용에 적합함을 시사한다.
• 동적으로 검색된 인라인 예시를 사용한 결과, 정적 예시 기반 기준선 대비 고품질 오답 선택지 생성에서 통계적으로 유의미한 향상(기각 수준 p < 0.01)을 보였다.
• 모델은 낭만적 오답 선택지 비율을 16%로 유지하여 이전 최고 성능 모델 대비 큰 개선을 이룩했으며, 교사들이 시스템에 대해 더 높은 신뢰를 가질 수 있도록 했다.
• 국소 순위 기반 모델과 LLM을 융합한 하이브리드 접근법(Dynamic-Demo-ChatGPT)이 제로샷 및 피셔샷 프롬프팅 전략을 모두 뛰어넘어, 이 하이브리드 접근법의 효과성을 확인했다.