[논문 리뷰] Entity Commonsense Representation for Neural Abstractive Summarization

Reinald Kim Amplayo, Seonjae Lim외 1명|arXiv (Cornell University)|2018. 06. 14.

Topic Modeling참고 문헌 26인용 수 11

한 줄 요약

이 논문은 신경 추상적 요약을 향상시키기 위해 연결된 엔티티를 선택적 의미 해소와 강력한 어텐션을 사용하여 주제 인식 벡터 표현으로 변환하는 모듈인 Entity2Topic (E2T)을 제안한다. 시퀀스-투-시퀀스 모델에 적용했을 때, E2T는 Gigaword 및 CNN 데이터셋에서 ROUGE 점수를 각각 최소 2점 향상시키며, 더 긴 CNN 데이터셋에서 최신 기술 성능을 달성한다.

ABSTRACT

A major proportion of a text summary includes important entities found in the original text. These entities build up the topic of the summary. Moreover, they hold commonsense information once they are linked to a knowledge base. Based on these observations, this paper investigates the usage of linked entities to guide the decoder of a neural text summarizer to generate concise and better summaries. To this end, we leverage on an off-the-shelf entity linking system (ELS) to extract linked entities and propose Entity2Topic (E2T), a module easily attachable to a sequence-to-sequence model that transforms a list of entities into a vector representation of the topic of the summary. Current available ELS's are still not sufficiently effective, possibly introducing unresolved ambiguities and irrelevant entities. We resolve the imperfections of the ELS by (a) encoding entities with selective disambiguation, and (b) pooling entity vectors using firm attention. By applying E2T to a simple sequence-to-sequence model with attention mechanism as base model, we see significant improvements of the performance in the Gigaword (sentence to title) and CNN (long document to multi-sentence highlights) summarization datasets by at least 2 ROUGE points.

연구 동기 및 목표

• 연결된 엔티티에서 파생된 주제 표현을 디코더 가이드로 사용하여 추상적 텍스트 요약을 향상시키는 것.
• 기존 시스템에서의 노이즈 또는 모호한 엔티티 연결 문제를 해결하기 위해 선택적 의미 해소를 도입하는 것.
• 강력한 어텐션을 사용해 엔티티 벡터를 풀링하여 요약의 주제 모델링을 향상시키고, 가장 관련성이 높은 엔티티에만 집중하는 것.
• 어떤 시퀀스-투-시퀀스 요약 모델과도 호환되는 플러그-앤플레이 모듈(E2T)을 개발하는 것.

제안 방법

• Wikipedia와 같은 지식 기반에 연결된 엔티티를 추출하기 위해 오프더쉐프 엔티티 연결 시스템(ELS)을 활용한다.
• 맥락에 기반해 의미 해소가 필요한 엔티티를 선택적 의미 해소 게이트를 통해 결정하여, 모호하거나 잘못된 연결으로 인한 노이즈를 감소시킨다.
• 각 연결된 엔티티를 문맥 기반 임bedding 모델로 인코딩하여 조밀한 벡터 표현을 생성한다.
• 강력한 어텐션을 사용해 상위-k개의 가장 관련성 있는 엔티티 벡터를 하나의 요약 주제 벡터로 풀링하여 핵심 엔티티에 중점을 둔다.
• 주제 벡터를 디코딩 중에 디코더에 공급하는 방식으로 E2T 모듈을 시퀀스-투-시퀀스 모델에 통합한다.
• 표준 시퀀스-투-시퀀스 목표를 사용해 전체 모델을 엔드 투 엔드로 훈련시키며, E2T는 디코더의 주요 주제 집중도를 향상시킨다.

실험 결과

연구 질문

• RQ1 텍스트에서 추출한 연결된 엔티티가 추상적 요약의 주요 주제를 효과적으로 나타내는 지표로 기능할 수 있는가?
• RQ2 의미 모호함과 관련 없음 등의 문제로 인해 기존 엔티티 연결 시스템의 완벽하지 못한 성능을 어떻게 보완하여 요약 품질을 향상시킬 수 있는가?
• RQ3 강력한 어텐션을 사용해 엔티티에서 파생된 주제 벡터를 사용할 경우, 소프트 어텐션이나 엔티티 가이드 없이 사용할 때보다 더 간결하고 정확한 요약을 얻을 수 있는가?
• RQ4 E2T와 같은 플러그인 모듈이 아키텍처의 대대적 개선 없이도 표준 추상적 요약 벤치마크에서 성능을 크게 향상시킬 수 있는가?

주요 결과

• 기본적인 어텐션 기반 시퀀스-투-시퀀스 모델에 E2T 모듈을 적용했을 때, Gigaword 및 CNN 데이터셋에서 ROUGE 점수를 각각 최소 2점 향상시켰다.
• CNN 데이터셋에서 E2T가 향상된 모델은 모든 경쟁 기술 모델을 압도하며, 장문의 추상적 요약에서 뛰어난 성능을 보였다.
• 선택적 의미 해소 게이트는 잘못되거나 모호한 엔티티 연결을 효과적으로 식별하고 수정한다. 예를 들어, '미국'과 '미국 대비컵 팀'을 구분한다.
• 강력한 어텐션은 낮은 중요도의 엔티티(예: '카운트리 클럽', 'UNK')를 효과적으로 걸러내고 가장 관련성이 높은 엔티티에 집중하여 사실 일관성과 요약의 통일감을 향상시켰다.
• 사례 연구 결과, E2T 모델은 '과달라하라가 멕시코의 주로 잘못 주장하는' 환각 현상을 피하기 위해 상위-k개의 가장 관련성 있는 엔티티에만 집중한다.
• 특히 기준 모델이 관련 없는 주제로 이격하는 경향이 있는 장문의 문서에서, 모델은 더 간결하고 주제 중심의 요약을 생성한다.