[논문 리뷰] Neural Models for Key Phrase Detection and Question Generation

Sandeep Subramanian, Tong Wang외 4명|arXiv (Cornell University)|2017. 06. 14.

Advanced Text Analysis Techniques참고 문헌 32인용 수 32

한 줄 요약

이 논문은 문서에서 자동으로 질문을 생성하기 위한 이단계 신경망 프레임워크를 제안한다. 첫 번째 단계에서는 QA 데이터베이스에서 인간이 선택한 유사한 关련 키워드를 추출하기 위해 포인터 네트워크를 갖춘 순서-순서 모델을 사용하고, 두 번째 단계에서는 어텐션과 포인터-소프트맥스를 사용한 조건부 순서-순서 질문 생성기를 이 키워드로 조정한다. 이 시스템은 키워드 추출에서 규칙 기반 및 엔티티 태깅 기반 베이스라인보다 유의미하게 뛰어나며, 유창하고 답변 가능한 질문을 생성하여 인간이 작성한 질문과 거의 구분되지 않을 정도로 높은 수준의 자연스러움을 달성한다.

ABSTRACT

We propose a two-stage neural model to tackle question generation from documents. First, our model estimates the probability that word sequences in a document are ones that a human would pick when selecting candidate answers by training a neural key-phrase extractor on the answers in a question-answering corpus. Predicted key phrases then act as target answers and condition a sequence-to-sequence question-generation model with a copy mechanism. Empirically, our key-phrase extraction model significantly outperforms an entity-tagging baseline and existing rule-based approaches. We further demonstrate that our question generation system formulates fluent, answerable questions from key phrases. This two-stage system could be used to augment or generate reading comprehension datasets, which may be leveraged to improve machine reading systems or in educational settings.

연구 동기 및 목표

• 인간 레이블링된 독해 테스트 데이터셋의 높은 제작 비용과 제한된 확장성을 해결하기 위해 질문-답변 쌍 생성을 자동화한다.
• 군중이 선택한 키워드의 분포를 커뮤니티 기반 QA 데이터에서 신경 순서-순서 학습을 통해 모델링한다.
• 추출된 키워드를 조건으로 하여 어텐션 기반 순서-순서 모델과 복사 메커니즘을 사용한 복사 메커니즘을 갖춘 질문 생성 모델을 통해 자연스럽고 답변 가능한 질문을 생성한다.
• 유창성, 정확성, 인간에 의한 구분 가능성 측면에서 생성된 질문의 품질을 인간이 작성한 질문과 비교 평가한다.
• 이 프레임워크가 교육 및 모델 훈련 응용 분야에 적합한 고품질의 일반화 가능한 QA 쌍을 생성할 수 있음을 입증한다.

제안 방법

• QA 데이터셋에서 인간의 선택 가능성을 조건으로 하여 문서 내 키워드의 시작 및 종료 경계를 예측하는 순서-순서 모델을 사용해 신경 키워드 추출기 모델을 훈련한다.
• 포인터-소프트맥스 메커니즘을 사용해 입력 문서의 단어를 직접 복사할 수 있도록 하여 희귀어나 OOV(Out-of-Vocabulary) 단어에 대한 정확도를 향상시킨다.
• Bahdanau 어텐션을 사용한 인코더-디코더 아키텍처를 통해 추출된 키워드를 조건으로 하여 관련 문서 부분과 질문 토큰 간의 정렬을 유도한다.
• 대규모 QA 데이터셋(SQuAD, NewsQA, TriviaQA)에서 두 구성 요소를 엔드 투 엔드로 훈련하여 진짜 답변과 질문의 가능도를 최대화한다.
• 군중의 레이블링을 활용해 생성된 질문의 유창성과 정확성을 평가하고, 인간이 작성한 QA 쌍과의 선호도 비교를 수행한다.
• 실제 문서에 모델을 적용하기 위해 내부 검색 툴을 활용하여 표준 독해 테스트 벤치마크를 초월한 일반화 능력을 테스트한다.

실험 결과

연구 질문

• RQ1 포인터 네트워크를 갖춘 신경 순서-순서 모델이 QA 데이터베이스에서 인간의 선택 패턴을 반영하는 키워드를 효과적으로 추출할 수 있는가?
• RQ2 제안된 키워드 추출 모델의 성능은 규칙 기반 및 엔티티 태깅 기반 베이스라인 대비 정밀도와 재현율 측면에서 어떻게 비교되는가?
• RQ3 생성된 질문이 원본 문서 및 키워드와 문법적으로 자연스럽고 의미적으로 관련성이 있는 정도는 어느 정도인가?
• RQ4 인간 평가에서 모델이 생성한 QA 쌍은 인간이 작성한 것과 얼마나 쉽게 구분되는가?
• RQ5 이 이단계 프레임워크는 독해 테스트 데이터셋의 증강 또는 교육적 응용 분야에 적합한 질문-답변 쌍을 생성할 수 있는가?

주요 결과

• 제안된 키워드 추출 모델은 엔티티 태깅 기반 베이스라인과 규칙 기반 접근 방식보다 인간이 선택한 답변 후보를 식별하는 데 유의미하게 뛰어난 성능을 보였다.
• 군중 평가자들 중 59.8%가 생성된 질문을 유창하다고 평가했으며, 그 중 35.6%는 해당 답변과 정확히 일치했다.
• 인간 선호도 연구에서 53.5%의 평가자가 강력한 베이스라인(H&S)보다 제안된 모델이 생성한 QA 쌍을 더 선호했으며, 이는 높은 경쟁력 있는 품질을 시사한다.
• 평가자들이 모델이 생성한 QA 쌍을 인공적으로 생성된 것으로 정확히 식별한 비율은 77.8%였으며, 이는 인간 생성 결과와 매우 유사하고 구분하기 어려운 현실감 있는 출력을 의미한다.
• 한 평가에서 모델는 자신의 출력을 인간 생성 결과와 구분하는 데 66.7%의 정확도를 달성했고, H&S와 비교 시 81.8%의 정확도를 기록하여 매우 높은 인간 유사성 품질을 입증했다.
• 모델는 실제 문서에 대해 잘 일반화되어 있으며, 내부 검색 툴을 통해 표준 RC 데이터셋 외부에서도 질문이 자연스럽고 의미적으로 관련성이 있다는 것을 입증했다.