[논문 리뷰] Improving Neural Question Generation using Answer Separation

Yanghoon Kim, Hwanhee Lee외 2명|arXiv (Cornell University)|2018. 09. 07.

Topic Modeling참고 문헌 22인용 수 10

한 줄 요약

이 논문은 질문 품질을 햖스키 위해 입력 문장에서 대상 답변을 특수 토큰 <a>로 대체함으로써 답변 단어가 포함되지 않도록 하는 answer-separated seq2seq라는 새로운 신경 질문 생성 모델을 제안한다. 답변 정보를 분리하고 키워드넷 모듈을 도입함으로써 모델은 부적절한 질문을 크게 줄이고 SQuAD에서 이전 최고 성능(SOTA) 모델을 능가한다. 기계 이해 시스템을 훈련시키는 데 사용했을 때, 단일 명사어 엔티티 답변을 포함한 서브셋에서 49.09 EM 및 56.57 F1 점수를 기록한다.

ABSTRACT

Neural question generation (NQG) is the task of generating a question from a given passage with deep neural networks. Previous NQG models suffer from a problem that a significant proportion of the generated questions include words in the question target, resulting in the generation of unintended questions. In this paper, we propose answer-separated seq2seq, which better utilizes the information from both the passage and the target answer. By replacing the target answer in the original passage with a special token, our model learns to identify which interrogative word should be used. We also propose a new module termed keyword-net, which helps the model better capture the key information in the target answer and generate an appropriate question. Experimental results demonstrate that our answer separation method significantly reduces the number of improper questions which include answers. Consequently, our model significantly outperforms previous state-of-the-art NQG models.

연구 동기 및 목표

• 신경 질문 생성(NQG) 모델이 대상 답변의 단어를 부적절하게 포함하는 문제를 해결하기 위해.
• 마스킹된 문장에서의 문맥적 단서를 활용해 적절한 의문사(예: 누가, 언제 등)를 예측할 수 있는 능력을 향상시키기 위해.
• 문장에서 답변이 제거됨에도 불구하고 대상 답변에 대한 인식을 유지하기 위해 키워드넷 모듈을 도입하기 위해.
• 답변 분리가 답변 누출을 줄이고 질문의 관련성과 유창성 향상에 기여하는지 평가하기 위해.
• 생성된 질문이 하류 기계 이해 시스템을 효과적으로 훈련시킬 수 있는지 입증하기 위해.

제안 방법

• 생성 질문에 답변 단어가 직접 유출되지 않도록 입력 문장의 대상 답변을 특수 토큰 <a>로 대체한다.
• 마스킹된 문장을 처리하기 위해 RNN 인코더를 사용하여 <a> 토큰 주변의 문맥적 종속성을 학습한다.
• 고립된 대상 답변에서 핵심 정보를 추출하여 답변 내용에 대한 인식을 유지하기 위해 키워드넷 모듈을 도입한다.
• 질문 생성 중 의미 관계를 더 잘 포착하기 위해 검색 기반의 단어 생성기를 사용한다.
• SQuAD 데이터셋을 사용하여 (문장, 질문, 답변) 삼중세트를 기반으로 입력이 답변 분리된 상태에서 모델을 엔드 투 엔드로 훈련시킨다.
• 자동 평가 지표(EM, F1)와 하류 기계 이해 시스템으로의 전이 성능 평가를 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 답변 분리가 생성된 질문에 대상 답변 단어가 포함되는 것을 줄이는가?
• RQ2 마스킹된 문장과 <a> 토큰만을 사용해 모델이 정확히 의문사(예: 누가, 언제 등)를 예측할 수 있는가?
• RQ3 키워드넷 모듈이 답변 위치 특징에만 의존하는 모델에 비해 질문 생성 품질을 얼마나 향상시키는가?
• RQ4 제안된 모델이 생성한 질문이 기계 이해 시스템을 사전 훈련하는 데 얼마나 효과적으로 사용될 수 있는가?
• RQ5 답변 분리가 <a> 토큰과 의문사 간의 어텐션 정렬을 얼마나 향상시키는가?

주요 결과

• 제안된 answer-separated seq2seq 모델은 생성된 질문에서 답변 단어의 발생 빈도를 크게 줄여 부적절한 질문 생성을 최소화한다.
• 모델을 합성 데이터에서 훈련시켰을 때, 단일 명사어 엔티티 답변만 포함한 SQuAD 개발 세트 서브셋에서 49.09 EM 및 56.57 F1 점수를 기록한다.
• 어텐션 시각화 결과, '누가'와 같은 의문사가 <a> 토큰에 높은 어텐션 가중치를 가지며, 이는 모델이 <a>를 질문 유형과 연관지운다는 것을 확인한다.
• 키워드넷 모듈은 문장에서 답변이 제거됨에도 불구하고 대상 답변에 대한 인식을 유지함으로써 모델 성능을 향상시킨다.
• SQuAD 데이터셋에서 이전 최고 성능(NQG) 모델을 능가하며, 더 뛰어난 질문 품질과 일반화 능력을 입증한다.
• 모델이 생성한 질문들은 충분히 자연스럽고 유창하여 하류 기계 이해 시스템을 적정 성능 수준까지 훈련시키는 데 효과적으로 사용될 수 있다.