[논문 리뷰] Query-Based Abstractive Summarization Using Neural Networks

Johan Hasselqvist, Niklas Helmertz외 1명|arXiv (Cornell University)|2017. 12. 17.

Topic Modeling참고 문헌 25인용 수 24

한 줄 요약

이 논문은 질의 기반 개괄 요약을 위한 신경망 모델을 제안하며, 포인터-게이터 아키텍처를 사용하여 주어진 질의에 맞게 요약을 간결하고 재구성된 형태로 생성한다. 일반적인 개괄 모델보다 ROUGE 점수는 낮지만, 질의 정보를 효과적으로 통합하여 추출 기반 기준보다 더 집중적인 요약을 생성함으로써 질의 유도 개괄 요약의 가능성을 입증한다. 시퀀스 투 시퀀스 학습을 통한 접근이 타당하다는 것을 보여준다.

ABSTRACT

In this paper, we present a model for generating summaries of text documents with respect to a query. This is known as query-based summarization. We adapt an existing dataset of news article summaries for the task and train a pointer-generator model using this dataset. The generated summaries are evaluated by measuring similarity to reference summaries. Our results show that a neural network summarization model, similar to existing neural network models for abstractive summarization, can be constructed to make use of queries to produce targeted summaries.

연구 동기 및 목표

• 사용자 질의에 특화된 개괄 요약을 생성하는 신경망 모델을 설계하여 추출 방법보다 더 높은 관련성을 확보한다.
• Hermann 등(2015)에서 제공한 기존 질문-답변 데이터셋을 재사용하여 참조 답변을 요약으로 삼고, 이를 질의 기반 요약 데이터셋으로 변환한다.
• 모델이 문법적으로 올바르고 질의 관련성이 있는 요약을 생성하여 문장 그대로 추출하는 것이 아니라 내용을 재구성하는 능력을 평가한다.
• 주의 집중, 반복, 실체 처리 측면에서 모델의 행동을 분석하며, 특히 질의 관련성과 요약 길이와의 관계를 고려한다.

제안 방법

• 원래 질문-답변에 사용된 CNN/Daily Mail 데이터셋을 변형하여 답변을 기준 요약으로 간주하고 질의를 입력 프롬프트로 삼는 질의 기반 요약 데이터셋으로 전환한다.
• 소스 텍스트에서 복사 및 OOV 단어 생성이 가능한 포인터-게이터 네트워크에 주의 메커니즘을 적용하여 요약을 생성한다.
• 다이내믹 메모리 네트워크를 영감으로 삼아 질의 인식 주의 메커니즘을 도입하여 디코더에 질의 정보를 통합함으로써 요약 생성을 질의에 조건화한다.
• 에코더-디코더 아키텍처를 사용한 시퀀스 투 시퀀스 학습을 적용하며, 에코더는 문서와 질의를 처리하고 디코더는 토큰 단위로 요약을 생성한다.
• 과도하게 짧은 요약을 생성하는 경향을 줄이기 위해 길이 정규화를 적용한 빔 서치를 사용한다.
• See 등(2017)의 접근 방식을 참고하여 반복적 토큰 생성을 줄이기 위한 커버리지 메커니즘을 구현한다.

실험 결과

연구 질문

• RQ1 신경 기반 개괄 요약 모델이 질의를 효과적으로 활용하여 문장 그대로 추출하는 것이 아니라 내용을 재구성하는 집중적이고 간결한 요약을 생성할 수 있는가?
• RQ2 질의 인식 개괄 모델의 성능은 ROUGE 점수와 인간 평가 관련성 측면에서 추출 기반 및 무정보 기반 개괄 기준 모델과 비교해 어떻게 되는가?
• RQ3 모델이 질의에 따라 문서의 관련 부분에 주의를 기울이는 정도는 어느 정도이며, 초기 문서 섹션에 편향을 보이는가?
• RQ4 반복, 사실 오류, 또는 재구성 실패와 같은 모델의 실패 유형은 무엇이며, 이는 훈련 데이터와 아키텍처와 어떻게 관련이 있는가?

주요 결과

• ROUGE 점수는 추출 기반 기준보다 떨어지지만, 모델는 질의에 더 집중된 요약을 생성한다.
• 평균 요약 길이가 11.27단어로, 데이터셋 평균 14.44단어보다 현저히 짧아 빔 서치의 간결성 편향을 시사한다.
• 참조 요약이 짧거나 여러 문서에 동일하게 나타날 경우, 모델이 자주 참조 요약의 문장이나 어구를 반복한다.
• 주의 메커니즘이 종종 문서의 시작 부분에 집중하는 경향이 있는데, 이는 초기 실체 언급과 문서 구조 때문일 수 있으나, 반드시 질의와 일치하지는 않는다.
• 때로는 사실 오류가 발생하여, 예를 들어 기사가 정책 규제를 다루고 있음에도 '넷플릭스의 오바마의 수석 책임자'라고 잘못 요약하는 경우가 있다.
• 반복을 줄이기 위한 노력에도 불구하고, 특히 초기 디코딩 단계에서 반복 행동이 계속 관찰되어 더 강력한 커버리지 메커니즘이 필요함을 시사한다.