[논문 리뷰] Training Optimus Prime, M.D.: Generating Medical Certification Items by Fine-Tuning OpenAI's gpt2 Transformer Model

Matthias von Davier|arXiv (Cornell University)|2019. 08. 22.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 PubMed의 오픈 액세스 의료 텍스트를 기반으로 OpenAI의 GPT-2 트랜스포머 모델을 희석하여 고품질 의료 자격시험 문제를 생성하는 방법을 제안한다. 이 방법은 다중선택형 문제에 적합한 일관되고 초안 준비 완료된 케이스 비니어트와 효과적인 오답항목을 생성하며, 트랜스포머 기반 언어 모델이 최소한의 인간 간섭으로 의료 교육 분야에서 자동 문제 생성을 크게 지원할 수 있음을 보여준다.

ABSTRACT

This article describes new results of an application using transformer-based language models to automated item generation (AIG), an area of ongoing interest in the domain of certification testing as well as in educational measurement and psychological testing. OpenAI's gpt2 pre-trained 345M parameter language model was retrained using the public domain text mining set of PubMed articles and subsequently used to generate item stems (case vignettes) as well as distractor proposals for multiple-choice items. This case study shows promise and produces draft text that can be used by human item writers as input for authoring. Future experiments with more recent transformer models (such as Grover, TransformerXL) using existing item pools are expected to improve results further and to facilitate the development of assessment materials.

연구 동기 및 목표

• 트랜스포머 기반 언어 모델이 자격시험에 적합한 의학적으로 관련성 있고 일관성 있는 문제를 생성할 수 있는지 조사하기.
• 이전의 RNN 기반 접근법과 비교하여 희석된 GPT-2 모델이 생성한 텍스트의 품질을 평가하기.
• 다중선택형 문제의 오답항목 생성을 위해 프롬프트 기반 텍스트 생성의 가능성을 탐색하기.
• 사전 훈련된 언어 모델이 의료 평가 개발에서 인간 문제 작성자들을 지원하는 도구로 활용될 잠재력을 평가하기.
• 도메인 특화 의료 문헌에 대해 희석을 통해 생성된 의료 교육 콘텐츠의 관련성과 구조가 향상됨을 입증하기.

제안 방법

• PubMed의 오픈 액세스 의료 텍스트 코퍼스를 훈련 데이터로 사용하여 OpenAI의 GPT-2 언어 모델을 희석하기.
• 다중 GPU 워크스테이션에서 TensorFlow-GPU 툴킷을 활용하여 모델을 의료 언어 생성을 위해 재훈련하기.
• 프롬프트 기반 생성을 통해 다중선택형 문제의 구조화된 케이스 비니어트와 오답항목을 생성하기.
• qualitative 평가와 인간이 작성한 문제와의 비교를 통해 생성된 텍스트 품질을 평가하기.
• 의료 서술문에서 장거리 의존성을 모델링하기 위해 트랜스포머 아키텍처의 어텐션 메커니즘 활용하기.
• 일반 목적 언어 모델을 의료 자격시험 테스트의 전문화된 도메인에 적응시키기 위해 전이 학습 원리 활용하기.

실험 결과

연구 질문

• RQ1 희석된 GPT-2 모델이 자격시험에 적합한 의학적으로 일관성 있고 구조적으로 탄탄한 케이스 비니어트를 생성할 수 있는가?
• RQ2 트랜스포머 기반 모델이 생성한 텍스트의 품질이 이전의 RNN 기반 접근법에 비해 어떻게 다른가?
• RQ3 희석된 모델에서 프롬프트 기반 생성이 다중선택형 문제의 효과적인 오답항목을 얼마나 잘 생성할 수 있는가?
• RQ4 의료 텍스트에 대해 도메인 특화 희석을 통해 생성된 평가 항목의 관련성과 문법 정확성이 향상되는가?
• RQ5 이러한 모델이 고위험 의료 자격시험 문제 개발에서 인간 문제 작성자들을 지원할 잠재력은 어떠한가?

주요 결과

• 희석된 GPT-2 모델은 오픈 액세스 문제를 기반으로 훈련된 이전의 문자 기반 RNN 모델보다 더 높은 품질의 일관성 있는 의료 텍스트를 생성했다.
• 프롬프트 기반 텍스트 생성은 자격시험의 다중선택형 문제에 사용 가능한 타당한 오답항목을 성공적으로 생성했다.
• 생성된 케이스 비니어트는 종종 문법적으로 정확하고 임상적으로 타당했으며, 의료 평가에서 흔히 사용되는 실제 환자 사례와 유사했다.
• 모델은 인간 문제 작성자들을 위한 초안으로 사용될 수 있는 텍스트를 생성할 수 있었으며, 수동 작성 노력이 감소했다.
• PubMed과 같은 의료 코퍼스에 대해 희석을 수행함으로써 생성된 콘텐츠의 도메인 관련성과 구조가 크게 향상되었다.
• 결과적으로, 적절히 희석된 트랜스포머 기반 언어 모델은 의료 교육 분야에서 자동 문제 생성의 실용적인 도구가 될 수 있음을 시사한다.