[논문 리뷰] Learning to Automatically Generate Fill-In-The-Blank Quizzes

Edison Marrese-Taylor, Ai Nakajima외 2명|arXiv (Cornell University)|2018. 06. 12.

Topic Modeling참고 문헌 11인용 수 3

한 줄 요약

이 논문은 자연어 문장에서 빈칸 채우기 퀴즈를 자동으로 생성하기 위해 양방향 LSTM을 사용하는 두 가지 딥러닝 접근법—시퀀스 레이블링과 시퀀스 분류—을 제안한다. 실세계 언어 학습 플랫폼의 약 150만 개의 예제 데이터셋에서 평가한 결과, 두 모델 모두 F1 점수와 정확도가 88% 이상을 기록하여, 수작업 규칙이나 오답 생성 없이 기반 학습 기반의 적응형 퀴즈 생성의 가능성을 입증한다.

ABSTRACT

In this paper we formalize the problem automatic fill-in-the-blank question generation using two standard NLP machine learning schemes, proposing concrete deep learning models for each. We present an empirical study based on data obtained from a language learning platform showing that both of our proposed settings offer promising results.

연구 동기 및 목표

• 딥러닝을 활용하여 자동 빈칸 채우기 퀴즈 생성을 시퀀스 레이블링 및 시퀀스 분류 문제로 정형화한다.
• 사용자 상호작용 데이터로부터 데이터 기반의 종단간 학습을 통해 규칙 기반 또는 템플릿 기반의 퀴즈 생성을 대체한다.
• 실제 플랫폼 사용 패턴을 기반으로 사용자 숙련도와 스타일에 맞게 맞춤형 퀴즈를 생성함으로써 적응형 학습을 가능하게 한다.
• 어휘 임베딩을 통한 표현 학습이 맥락적으로 적절한 빈칸을 선택하는 데 얼마나 효과적인지 평가한다.
• 비지도 또는 약한 지도 학습을 통해 실세계 사용자가 생성한 레이블이 없는 퀴즈 데이터로부터 잠재적 잠재력 탐색

제안 방법

• 문장의 각 토큰에 대해 빈칸으로 만들 여부를 나타내는 레이블을 할당함으로써 이 작업을 시퀀스 레이블링 문제로 정형화한다.
• 모델이 문장으로부터 올바른 단어를 빈칸으로 선택하도록 예측하는 방식으로 이 작업을 시퀀스 분류 문제로 정형화한다.
• 두 모델 모두 300차원의 어휘 임베딩과 300차원의 은닉 상태를 갖는 양방향 LSTM을 사용한다.
• 과적합을 방지하기 위해 LSTMs 레이어 앞뒤에 드롭아웃 비율 0.2를 적용한다.
• 기본 학습률 0.001로 Adam 옵timizer를 사용하고 기울기 클리핑을 최대 노름 5로 설정하여 두 모델을 훈련한다.
• 훈련, 검증, 테스트를 70/10/20 비율로 나누며, 문장 수준의 토크나이제이션과 CoreNLP를 통한 품사 태깅을 적용한다.

실험 결과

연구 질문

• RQ1 양방향 LSTMs 모델이 문장에서 퀴즈 생성을 위해 가장 적합한 내용을 효과적으로 식별하는 데 성공할 수 있는가?
• RQ2 자동 빈칸 채우기 퀴즈 생성에서 시퀀스 레이블링과 시퀀스 분류 접근법의 성능는 어떻게 비교되는가?
• RQ3 언어 학습 플랫폼에서 실제 사용자가 생성한 퀴즈 데이터로 훈련된 모델이 새로운 문장으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 수작업 특징 없이 어휘 임베딩을 통한 표현 학습만으로도 높은 품질의 빈칸 선택을 달성할 수 있는가?
• RQ5 이러한 모델은 사용자 상호작용 패턴에 기반해 다양한 난이도와 스타일의 퀴즈를 생성함으로써 적응형 학습을 지원할 수 있는가?

주요 결과

• 시퀀스 레이블링 모델은 테스트 세트에서 F1 점수 88.80%를 기록했으며, 정밀도와 재현율은 각각 88.56%와 88.34%였다.
• 시퀀스 분류 모델은 테스트 정확도 89.31%를 달성하여 빈칸으로 만들 올바른 단어를 선택하는 데 강력한 성능을 보였다.
• 두 모델 모두 검증 세트와 테스트 세트 간 성능 저하가 미미하여 강력한 일반화 능력을 보였다.
• 결과는 사용자 생성 데이터로부터 종단간 학습을 통해 규칙 기반 또는 템플릿 기반 접근법을 효과적으로 대체할 수 있음을 시사한다.
• 모델의 성능는 어휘 임베딩을 통한 표현 학습이 품사 태깅이나 의존 구문 분석과 같은 외부 특징에 의존하지 않더라도 고품질의 빈칸 선택에 충분하다는 것을 시사한다.
• 이 연구는 실제 사용자 상호작용에서 학습하고 개인의 학습 스타일 및 난이도 수준에 맞게 콘텐츠를 맞춤화할 수 있는 적응형 퀴즈 생성 시스템의 기반을 마련한다.