[논문 리뷰] A Unified Model for Extractive and Abstractive Summarization using Inconsistency Loss

Wan‐Ting Hsu, Chieh-Kai Lin외 4명|arXiv (Cornell University)|2018. 05. 16.

Topic Modeling참고 문헌 20인용 수 24

한 줄 요약

이 논문은 추출 요약 모델의 문장 수준 주의를 추상적 요약 모델의 단어 수준 주의와 융합하여 추출 요약과 추상적 요약을 통합하는 신경망 모델을 제안한다. 이는 두 주의 메커니즘 간의 일관성 없음을 줄이기 위해 새로운 불일치 손실 함수를 사용한다. 이 방법은 CNN/Daily Mail 데이터셋에서 최고 수준의 ROUGE 점수를 기록했으며, 인간 평가에서 정보성, 간결성, 독해성 측면에서 이전 방법들을 능가한다.

ABSTRACT

We propose a unified model combining the strength of extractive and abstractive summarization. On the one hand, a simple extractive model can obtain sentence-level attention with high ROUGE scores but less readable. On the other hand, a more complicated abstractive model can obtain word-level dynamic attention to generate a more readable paragraph. In our model, sentence-level attention is used to modulate the word-level attention such that words in less attended sentences are less likely to be generated. Moreover, a novel inconsistency loss function is introduced to penalize the inconsistency between two levels of attentions. By end-to-end training our model with the inconsistency loss and original losses of extractive and abstractive models, we achieve state-of-the-art ROUGE scores while being the most informative and readable summarization on the CNN/Daily Mail dataset in a solid human evaluation.

연구 동기 및 목표

• 추출 요약 모델은 사실적 정확도는 높지만 흐름이 끊기기 쉬우며, 추상적 요약 모델은 유창한 텍스트를 생성하지만 사실 오류를 일으킬 수 있다는 한계를 해결하기 위해 두 모델의 장점을 융합한다.
• 문장 수준 주의를 통해 추출 모델의 지시를 받는 단어 수준 주의를 갖는 통합 아키텍처를 개발하여 사실 일관성과 관련성 향상을 도모한다.
• 사람의 레이블이 필요 없이 문장 수준 주의와 단어 수준 주의 분포 간 격차를 페널티 처리하는 새로운 불일치 손실 함수를 도입한다.
• 자동 평가 지표(ROUGE)와 인간 평가 모두에서 최고 성능을 달성하며, 특히 정보성, 간결성, 독해성 측면에서 뛰어난 성능을 발휘한다.

제안 방법

• 모델은 사전 훈련된 추출 요약 모델을 사용해 문장 수준 주의 점수를 생성하고, 이를 추상적 포인터-게이저 디코더의 단어 수준 주의를 조절하는 데 사용한다.
• 문장 수준 주의는 게이트 메커니즘으로 적용되어 저우선순위 문장에서의 단어 수준 주의를 억제함으로써 불필요한 단어 생성을 줄인다.
• 정규화된 문장 수준 주의와 문장 간 집계된 단어 수준 주의 간 L2 거리의 최소화를 목표로 하는 새로운 불일치 손실 함수를 도입한다.
• 불일치 손실은 미분 가능하며, 추출 및 추상적 요약 목표를 동시에 고려한 엔드 투 엔드 훈련을 가능하게 한다.
• 추출 손실, 추상적 손실, 불일치 손실의 가중 조합을 사용해 모델을 엔드 투 엔드로 훈련한다.
• 최종 요약은 조절된 단어 수준 주의를 디코딩하여 생성되며, 자연스럽고 간결하며 사실 기반의 출력을 제공한다.

실험 결과

연구 질문

• RQ1 통합 모델은 추출 요약의 사실 정확성과 추상적 요약의 유창성을 효과적으로 융합할 수 있는가?
• RQ2 문장 수준 주의와 단어 수준 주의를 어떻게 정렬하여 추상적 생성의 사실 일관성을 향상시킬 수 있는가?
• RQ3 주의 분포 격차를 페널티 처리하는 미분 가능한 불일치 손실 함수는 ROUGE 점수와 인간 평가 품질을 향상시키는가?
• RQ4 통합 모델은 정보성, 간결성, 독해성 측면에서 자동 평가 지표와 인간 평가 모두에서 강력한 베이스라인을 능가할 수 있는가?

주요 결과

• 통합 모델은 CNN/Daily Mail 데이터셋에서 ROUGE-1, ROUGE-2, ROUGE-L 점수 모두 최고 수준을 기록했으며, 추출 및 추상적 요약 베이스라인을 모두 능가했다.
• 인간 평가에서 모델는 기준 요약보다 정보성과 독해성에서 더 높은 점수를 받았으며, 이는 향상된 사실 커버리지와 유창성을 의미한다.
• 불일치 손실은 주의 정렬을 크게 향상시켜 요약에서 저우선순위 또는 관련 없는 단어의 생성을 줄였다.
• 모델는 기준 요약보다 더 간결한 요약을 생성했으며, 정보성과 독해성 점수는 유지하거나 초월했다.
• 제거 실험 결과, 불일치 손실이 성능 향상에 필수적이며, 이를 제거하면 ROUGE 점수와 인간 평가 지표가 모두 악화됨을 확인했다.
• 모델는 반복 및 사실 환상과 같은 일반적인 추상적 요약 문제를 효과적으로 완화했으며, 특히 저우선순위 문장에 대한 주의 억제를 통해 이를 달성했다.