[논문 리뷰] Question Generation by Transformers

Kettip Kriangchaivech, Artit Wangperawong|arXiv (Cornell University)|2019. 09. 09.

Topic Modeling참고 문헌 20인용 수 6

한 줄 요약

이 논문은 위키백과 문단에서 자동으로 질문을 생성하기 위한 트랜스포머 기반의 시퀀스-투-시퀀스 모델을 제안하며, 역방향 SQuAD 데이터셋으로 훈련된다. 모델은 평균 8단어의 문장 길이를 가진 문법적으로 올바르고 맥락적으로 관련된 질문을 생성하지만, WER(단어 오류율)가 9.66로 높아 SQuAD 질문과의 문법적 차이가 크며, 질문의 복잡성과 질문 시작 단어의 다양성 측면에서 한계를 보인다.

ABSTRACT

A machine learning model was developed to automatically generate questions from Wikipedia passages using transformers, an attention-based model eschewing the paradigm of existing recurrent neural networks (RNNs). The model was trained on the inverted Stanford Question Answering Dataset (SQuAD), which is a reading comprehension dataset consisting of 100,000+ questions posed by crowdworkers on a set of Wikipedia articles. After training, the question generation model is able to generate simple questions relevant to unseen passages and answers containing an average of 8 words per question. The word error rate (WER) was used as a metric to compare the similarity between SQuAD questions and the model-generated questions. Although the high average WER suggests that the questions generated differ from the original SQuAD questions, the questions generated are mostly grammatically correct and plausible in their own right.

연구 동기 및 목표

• 템플릿 기반, 최소한의 인간 간섭을 수반하는 질문 생성 시스템을 트랜스포머를 사용해 개발하기 위해.
• 교육자들이 퀴즈 및 시험을 만드는 데 있어 효율성과 확장성을 높이기 위해 질문 생성을 자동화함으로써.
• 수동으로 설계된 규칙나 템플릿에 의존하지 않고도 문법적으로 정확하고 맥락적으로 관련된 질문을 생성할 수 있는지 모델의 능력을 평가하기 위해.
• 단어 오류율(WER)을 사용해 질문 품질의 한계를 진단하고, 질문 유형 분포에 대한 편향을 규명하기 위해.
• 미래의 향상 방안으로 데이터 증강과 사전 훈련된 언어 모델을 활용해 질문의 다양성과 의미 정확성을 향상시키기 위해.

제안 방법

• 모델는 인코더-디코더 어텐션 메커니즘을 갖춘 트랜스포머 기반의 시퀀스-투-시퀀스 아키텍처를 사용하며, 순환 신경망(RNNs)을 대체한다.
• 자기 어텐션 메커니즘은 스케일드 닷프로덕트 어텐션을 통해 구현되며, $\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d}}\right)V$이다.
• 모델는 위키백과 문단에서 유래한 10만 개 이상의 질문-답변 쌍을 포함한 역방향 SQuAD 데이터셋으로 파인튜닝된다.
• 디코딩 중에는 빔 서치와 버킷링을 사용하여 생성 품질을 향상시키고 다양한 길이의 시퀀스를 처리한다.
• h개의 헤드를 가진 다중 헤드 어텐션은 병렬적으로 서로 다른 표현 하위공간에 주의를 기울일 수 있게 하여 맥락 모델링을 향상시킨다.
• 모델 평가에는 생성된 질문과 기준 SQuAD 질문 간의 단어 오류율(WER)을 사용하며, 질문 구조와 첫 단어 빈도 분석도 추가로 수행된다.

실험 결과

연구 질문

• RQ1 템플릿이나 인간이 설계한 규칙에 의존하지 않고도 트랜스포머 기반 모델이 문법적으로 정확하고 맥락적으로 관련된 질문을 생성할 수 있는가?
• RQ2 트랜스포머 기반 질문 생성기의 성능은 RNN 기반 모델과 비교해 훈련 효율성과 출력 품질 측면에서 어떻게 다른가?
• RQ3 생성된 질문이 SQuAD의 인간이 애너테이션한 질문과 의미적·문법적 구조에서 어느 정도 유사한가?
• RQ4 생성된 질문에서 주로 나타나는 편향(예: 질문 시작 단어 분포)은 무엇이며, 인간이 애너테이션한 질문과 비교해 어떻게 다른가?
• RQ5 데이터 증강과 사전 훈련된 언어 모델을 통해 질문의 다양성과 의미 정확성을 어떻게 향상시킬 수 있는가?

주요 결과

• 모델는 평균 8단어의 길이를 가진 질문을 생성하며, SQuAD의 평균 12단어보다 훨씬 짧아 더 단순하고 세부 정보가 적은 질문을 생성함을 시사한다.
• 생성된 질문과 SQuAD 질문 간의 평균 단어 오류율(WER)은 9.66로, 문법적으로 정확하더라도 문법적 구조에서 상당한 차이가 있음을 나타낸다.
• 높은 WER에도 불구하고 많은 생성된 질문은 의미적으로 타당하고 맥락과 관련이 있으며, 예를 들어 'by what means were scientists able to liquefy air?'에 대해 'what is the name of the process of water?'와 같은 질문을 생성한다.
• 모델는 'what'으로 시작하는 질문 생성에 강한 편향을 보이며, SQuAD의 21개 대비 단지 10개의 서로 다른 시작 단어만 사용함으로써 질문 유형의 다양성이 부족함을 보여준다.
• WER ≥ 20인 질문들 역시 정답과 맥락을 정확히 반영하고 있으나, 일반적으로 질문 어휘(예: 'who' 대신 'what')가 다를 수 있어 문법적 차이가 있음에도 의미적으로 유사함을 보인다.
• 이 연구는 BLEU나 ROUGE와 같은 메트릭이 의미 유사성을 잘 캡처하지 못할 수 있으며, 더 신뢰할 수 있는 평가 방법으로 SQuAD의 질문-답변 모델을 활용해 답변 일致도를 평가할 것을 제안한다.