[논문 리뷰] Don't Give Me the Details, Just the Summary! Topic-Aware Convolutional Neural Networks for Extreme Summarization

Shashi Narayan, Shay B. Cohen외 1명|arXiv (Cornell University)|2018. 08. 27.

Topic Modeling참고 문헌 25인용 수 35

한 줄 요약

이 논문은 '극단적 요약'이라는 새로운 단일 문서 요약 작업을 소개한다. 이 작업은 '기사의 주제는 무엇인가?'에 대한 답이 되는 한 문장의 개성적 요약을 요구한다. 이 작업을 위해 전적으로 컨볼루션 신경망(CNN)으로 구성된 주제 인식 컨볼루션 시퀀스 투 시퀀스 모델(T-ConvS2S)을 제안한다. 이 모델은 자동 평가(ROUGE)와 인간 평가에서 추출적 및 RNN 기반의 개성적 모델을 모두 압도하며, 장거리 의존성과 개성적 융합을 통해 핵심 정보를 보존하는 데 뛰어난 능력을 보여준다.

ABSTRACT

We introduce extreme summarization, a new single-document summarization task which does not favor extractive strategies and calls for an abstractive modeling approach. The idea is to create a short, one-sentence news summary answering the question "What is the article about?". We collect a real-world, large-scale dataset for this task by harvesting online articles from the British Broadcasting Corporation (BBC). We propose a novel abstractive model which is conditioned on the article's topics and based entirely on convolutional neural networks. We demonstrate experimentally that this architecture captures long-range dependencies in a document and recognizes pertinent content, outperforming an oracle extractive system and state-of-the-art abstractive approaches when evaluated automatically and by humans.

연구 동기 및 목표

• 극단적 요약을 새로운 단일 문서 요약 작업으로 정의하고 형식화하여, 추출적 접근 방식에 저항하고 개성적 추론을 요구하는 작업으로 만든다.
• BBC 뉴스 기사에서 실제 세계의 대규모 데이터셋을 수집하여, 첫 문장이 종종 한 문장 요약으로 기능하는 구조를 확보한다.
• 전적으로 컨볼루션 신경망(CNN) 기반의 새로운 개성적 모델을 개발하여 문서 주제에 따라 조정함으로써 장거리 의존성과 문서 수준의 개성적 요약을 더 잘 포착할 수 있도록 한다.
• 주제 인식 기반의 CNN 기반 모델이 추출적 모델과 최신 RNN 기반의 개성적 모델보다 요약 품질에서 뚜렷이 뛰어나다는 것을 입증한다.

제안 방법

• 제안된 모델인 T-ConvS2S는 각 단어가 문서의 내용을 대표하는지 여부를 포착하기 위해 컨볼루션 인코더를 사용하여 각 단어와 주제 벡터를 연결한다.
• 컨볼루션 디코더는 전반적인 문서 주제 벡터에 조건부로 요약의 각 단어를 생성함으로써 맥락 인식 개성적 생성을 가능하게 한다.
• 모델은 장거리 의존성을 더 잘 포착하기 위해 순환 네트워크를 피하고 전적으로 컨볼루션 계층에 의존한다.
• 주제 벡터는 학습 중에 엔드 투 엔드로 학습되며, 인코딩과 디코딩을 모두 지시함으로써 관련성과 개성적 요약 능력을 향상시킨다.
• 모델은 XSum 데이터셋에서 시퀀스 투 시퀀스 학습을 사용하여 교차 엔트로피 손실을 기반으로 엔드 투 엔드로 훈련된다.
• 자동 평가 지표(ROUGE)와 두 가지 인간 평가(요약 선호도 랭킹 및 핵심 정보 유지 여부를 측정하는 질문-답변(QA) 평가)를 통해 평가된다.

실험 결과

연구 질문

• RQ1 순수하게 컨볼루션 신경망 아키텍처가 극단적 요약에서 장거리 의존성과 문서 수준의 개성적 요약을 효과적으로 모델링할 수 있는가?
• RQ2 요약이 '기사의 주제는 무엇인가?'에 대한 답이 되어야 하는 극단적 요약 작업에서, 개성적 접근 방식이 추출적 방법보다 뚜렷이 뛰어나게 성능을 발휘하는가?
• RQ3 문서 주제에 따라 모델을 조정하면 표준 시퀀스 투 시퀀스 모델보다 요약의 품질과 정보성 향상에 기여하는가?
• RQ4 인간 평가자들이 제안된 주제 인식 모델이 생성한 요약을 추출적 또는 RNN 기반의 개성적 시스템에 비해 얼마나 더 선호하는가?
• RQ5 질문-답변 성능으로 측정했을 때, 모델이 생성한 요약이 원본 문서의 핵심 사실 정보를 얼마나 잘 유지하는가?

주요 결과

• T-ConvS2S 모델은 XSum 테스트 세트에서 ROUGE-L 점수 46.05%를 기록하여 추출적 오라클(15.70%)과 다른 개성적 모델들을 크게 앞서며 성능을 냈다.
• 인간 선호도 평가에서 T-ConvS2S는 두 번째로 높은 순위를 기록했으며, ConvS2S와 PtGen보다 유의미하게 더 선호되었고, 인간이 작성한 요약에 이어지는 순위였다.
• QA 평가에서 T-ConvS2S 요약은 사실 기반 질문의 46.05%를 정확히 답변했고, ConvS2S는 30.90%, PtGen은 21.40%를 기록했다.
• 추출적 오라클의 인간 평가 성능은 낮게 나타났다(30.90% QA 정확도), 이는 ROUGE 최적화된 추출적 요약이 종종 핵심 정보를 손실한다는 것을 시사한다.
• T-ConvS2S는 산산이 흩어진 문서의 정보를 융합하고 재구성하는 능력이 뛰어나, 추론이나 통합이 필요한 질문에 대해 더 높은 정확도를 보였다.
• 모든 인간 평가에서 T-ConvS2S의 성능은 통계적으로 유의미했으며, ConvS2S와 PtGen보다 유의미하게 뛰어나(p < 0.01), 모델의 강건성과 효과성을 확인했다.