[논문 리뷰] A Generative Approach to Question Answering

Rajarshee Mitra|arXiv (Cornell University)|2017. 11. 16.

Topic Modeling참고 문헌 7인용 수 3

한 줄 요약

이 논문은 시퀀스 투 시퀀스 프레임워크를 활용하여 질문-패스지어 쌍에서 직접 개괄적 답변을 생성하는 생성형 질문 응답 모델을 제안한다. 이는 포인터-생성기 네트워크와 커버리지 메커니즘으로 강화된 것이다. 패스지의 핵심 엔티티를 복사하고 반복을 줄이기 위해 주의를 기록함으로써, 모델은 MS-MARCO에서 최신 기준 ROUGE-L 점수를 달성하며, 추출형 및 기준 생성형 모델을 능가한다. 이는 답변의 독해 가능성과 정확성을 향상시킨다.

ABSTRACT

Question Answering has come a long way from answer sentence selection, relational QA to reading and comprehension. We shift our attention to generative question answering (gQA) by which we facilitate machine to read passages and answer questions by learning to generate the answers. We frame the problem as a generative task where the encoder being a network that models the relationship between question and passage and encoding them to a vector thus facilitating the decoder to directly form an abstraction of the answer. Not being able to retain facts and making repetitions are common mistakes that affect the overall legibility of answers. To counter these issues, we employ copying mechanism and maintenance of coverage vector in our model respectively. Our results on MS-MARCO demonstrate it's superiority over baselines and we also show qualitative examples where we improved in terms of correctness and readability

연구 동기 및 목표

• 추출형 레이블이나 스파닝(annotation)에 의존하지 않고 개괄적 답변을 생성하는 생성형 질문 응답 모델을 개발하는 것.
• 복사 메커니즘과 커버리지 벡터를 통합하여 생성된 답변의 사실적 오류와 반복 문제를 해결하는 것.
• 입력 데이터에 따라 개괄적 생성과 추출적 생성 간에 동적으로 전환할 수 있도록 하여 외부 추출 모듈에 의존하지 않도록 하는 것.
• 주의 커버리지 유지와 중복 단어 생성 감소를 통해 답변의 독해 가능성과 정확성을 향상시키는 것.

제안 방법

• 질문과 패스지를 모두 위한 맥락적 표현으로 인코딩하기 위해 공유된 가중치를 가진 양방향 GRU 인코더를 사용한다.
• 질문과 패스지 표현 간의 정렬을 계산하기 위해 스케일드 곱셈 주의를 적용하여 질의 인식 가능한 인코딩을 가능하게 한다.
• 어휘에서 단어를 생성할지 패스지에서 복사할지 결정하기 위해 확률 $ p_{\text{gen}} $ 를 계산하는 포인터-생성기 네트워크를 적용하여 사실 일관성을 향상시킨다.
• 반복을 줄이기 위해 주의 분포의 누적 합으로 커버리지 벡터를 유지하며, 동일한 인코더 상태에 과도하게 주의를 기울이는 것을 방지한다.
• 디코더는 각 타임스텝에서 인코더 상태에 주의를 기울이며, 다양성을 이끌어내기 위해 주의 메커니즘에 추가로 커버리지 인식 항목을 포함한다.
• 고정된 GloVe 임베딩과 Adadelta 최적화를 사용하여 음의 로그우도 손실을 기반으로 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 추출형 스팬(annotation)이나 외부 레이블이 없는 시퀀스 투 시퀀스 모델이 고품질의 개괄적 답변을 생성할 수 있는가?
• RQ2 포인터-생성기 메커니즘이 답변 생성 중 핵심 엔티티를 유지하는 데 얼마나 효과적인가?
• RQ3 표준 seq2seq 모델 대비 커버리지 메커니즘이 생성된 답변의 반복을 어느 정도 줄이는가?
• RQ4 커버리지와 복사 기능의 통합이 ROUGE-L 점수와 인간 평가 독해 가능성 향상에 기여하는가?
• RQ5 다양한 질문 유형에 따라 모델의 복사 및 생성 결정 전략은 어떻게 변화하는가?

주요 결과

• 제안된 모델은 MS-MARCO 개발 데이터에서 ROUGE-L 점수 74/59.5를 기록하여 기준 seq2seq 모델(37.70 ROUGE-L)을 크게 능가한다.
• 포인터-생성기와 커버리지 메커니즘을 모두 적용한 모델은 퍼플렉서티 4.35/4.62를 기록하여 훈련 안정성과 생성 품질이 향상됨을 보여준다.
• 평균 $ p_{\text{gen}} $ 값 0.7은 모델이 주로 패스지에서 복사하는 경향이 있음을 나타내며, 이는 MS-MARCO 데이터셋의 추출적 성격을 반영한다.
• 정성적 분석 결과, 모델은 핵심 정보를 유지하고 반복을 줄여 기준 모델 대비 답변의 독해 가능성 향상을 보였다.
• 커버리지 메커니즘이 실제로 반복적인 단어 생성을 효과적으로 억제하여 생성된 답변의 레이어 중복성이 감소함을 입증하였다.
• 자기 주의(self-attention)는 성능 향상에 기여하지 않았으며, 이는 디코더의 주의 메커니즘이 이미 충분한 장거리 의존성을 포착하고 있음을 시사한다.