[논문 리뷰] Concept Pointer Network for Abstractive Summarization

Wenbo Wang, Yang Gao외 2명|arXiv (Cornell University)|2019. 10. 18.

Topic Modeling참고 문헌 28인용 수 7

한 줄 요약

이 논문은 지식 기반에서 유래한 맥락 인식 개념화를 통합하여 원본 텍스트를 그대로 복사하는 것이 아니라 보다 고차원적인 추상적 개념을 생성함으로써 개선된 개괄적 요약을 제공하는 개념 포인터 네트워크를 제안한다. 새로운 포인터 메커니즘과 원거리 감독 학습을 통해 원본 텍스트와 개념 후보를 동시에 활용함으로써, DUC-2004와 Gigaword에서 최신 기술 모델들보다 통계적으로 유의미한 ROUGE 향상을 달성하였으며, 인간 평가를 통해 더 높은 추상화 수준과 요약 품질을 확인할 수 있었다.

ABSTRACT

A quality abstractive summary should not only copy salient source texts as summaries but should also tend to generate new conceptual words to express concrete details. Inspired by the popular pointer generator sequence-to-sequence model, this paper presents a concept pointer network for improving these aspects of abstractive summarization. The network leverages knowledge-based, context-aware conceptualizations to derive an extended set of candidate concepts. The model then points to the most appropriate choice using both the concept set and original source text. This joint approach generates abstractive summaries with higher-level semantic concepts. The training model is also optimized in a way that adapts to different data, which is based on a novel method of distantly-supervised learning guided by reference summaries and testing set. Overall, the proposed approach provides statistically significant improvements over several state-of-the-art models on both the DUC-2004 and Gigaword datasets. A human evaluation of the model's abstractive abilities also supports the quality of the summaries produced within this framework.

연구 동기 및 목표

• 기존의 추상적 요약 모델이 원본 텍스트를 그대로 복사하는 데에 국한되어 고차원적이고 추상적인 개념을 생성하는 데에 한계가 있음을 해결하기 위해.
• 세계 지식을 포인터 생성기 프레임워크에 통합하여 새로운 개념어 생성을 향상시키기 위해.
• 다양한 데이터셋에 걸쳐 모델 적응력을 향상시키기 위해 원거리 감독 학습 전략을 개발하기 위해.
• 생성된 요약의 추상화와 유창성의 균형을 맞추어 ROUGE 지표와 인간 평가에서 더 뛰어난 성능을 달성하기 위해.

제안 방법

• 모델은 지식 기반에서 유도된 광범위한 후보 개념 집합에서 원본 단어의 의미적 유사성에 기반해 맥락 인식 개념 포인터를 사용하여 선택한다.
• 이중 포인터 메커니즘을 활용한다: 하나는 원본 텍스트 단어를 위한 것이고, 다른 하나는 개념어를 위한 것으로, 복사와 추상화의 균형을 이루기 위해 주의 기반 선택을 수행한다.
• 각 개념이 대상 단어를 얼마나 잘 대표하는지 반영하는 맥락 민감한 분포를 사용해 개념 후보를 동적으로 업데이트한다.
• 참고 요약과 테스트 세트 통계에 의해 유도되는 새로운 원거리 감독 학습 전략을 사용해 엔드 투 엔드로 학습함으로써 일반화 능력을 향상시킨다.
• 강화 학습은 원거리 감독 학습의 보완으로 사용되며, 의미 분포 이탈이 발생하는 데이터셋에서는 원거리 감독 학습이 더 뛰어난 성능을 보였다.
• 최종 출력은 유창성을 유지하면서 원본 단어와 고차원 개념을 모두 통합하는 시퀀스 투 시퀀스 생성기로 생성된다.

실험 결과

연구 질문

• RQ1 포인터 생성기에 지식 기반 개념을 통합하면 추상적 요약의 추상화 수준이 향상되는가?
• RQ2 표준 포인터 생성기와 비교해 맥락 인식 개념 포인터는 비중복적이며 고차원적인 의미적 내용을 생성하는 데서 어떻게 성능이 뛰어나게 되는가?
• RQ3 강화 학습만을 사용하는 것과 비교해 원거리 감독 학습이 다양한 데이터셋에 걸쳐 더 나은 모델 일반화를 이끌어내는가?
• RQ4 인간 평가자들이 제안된 모델의 요약을 기존 모델의 요약과 비교해 더 추상적이고 품질이 높다고 평가하는 정도는 어느 정도인가?

주요 결과

• DUC-2004와 Gigaword 데이터셋 양쪽 모두에서 다수의 최신 기술 모델들보다 ROUGE-L, ROUGE-1, ROUGE-2 지표에서 통계적으로 유의미한 향상을 달성하였다.
• DUC-2004에서 원거리 감독 학습을 사용한 모델은 강화 학습 기반 학습 대비 상대적 향상률 3.5%에서 9.6%까지 뛰어나, 분포 이탈에 대한 더 나은 적응 능력을 보였다.
• 인간 평가 결과, 모델은 추상화 수준에서 10.00/20, 종합 품질에서 9.60/20을 기록하여 seq2seq+attention(5.85, 5.65)와 포인터 생성기(8.95, 8.10) 모두를 뚜렷이 앞섰다.
• 최적의 개념 후보 수는 Gigaword에선 k=1, DUC-2004에선 k=2로 확인되었으며, 무작위 선택보다는 하드 할당(arginmax)이 더 좋은 성능을 보였다.
• 직접 복사에 의존하는 것을 줄이며, '317명의 선수' 대신 '그룹'과 같은 더 추상적인 개념을 생성함으로써 개념 추상화 능력이 향상됨을 입증하였다.
• 생성된 요약은 자연스럽고 길며 정보가 풍부했으며, 기존 모델들과 비교해 고차원 의미 표현으로의 전환을 뚜렷이 보였다.