[논문 리뷰] A Semantic Relevance Based Neural Network for Text Summarization and Text Simplification

Shuming Ma, Xu Sun|arXiv (Cornell University)|2017. 10. 06.

Topic Modeling참고 문헌 27인용 수 19

한 줄 요약

이 논문은 텍스트 요약 및 단순화를 위한 의미적 유사성 기반(Semantic Relevance Based, SRB) 신경망을 제안하며, 원본 텍스트와 생성된 텍스트 간의 의미적 유사성을 향상시킵니다. 학습 중에 원본 텍스트와 생성된 출력 간의 의미적 유사성을 최대화하기 위해 유사도 손실을 통합하고, 장거리 표현을 위해 자기 게이팅 주의 인코더(self-gated attention encoder)를 사용함으로써, LCSTS 및 EW-SEW 벤치마크에서 최신 기술을 초월하는 성능을 보입니다.

ABSTRACT

Text summarization and text simplification are two major ways to simplify the text for poor readers, including children, non-native speakers, and the functionally illiterate. Text summarization is to produce a brief summary of the main ideas of the text, while text simplification aims to reduce the linguistic complexity of the text and retain the original meaning. Recently, most approaches for text summarization and text simplification are based on the sequence-to-sequence model, which achieves much success in many text generation tasks. However, although the generated simplified texts are similar to source texts literally, they have low semantic relevance. In this work, our goal is to improve semantic relevance between source texts and simplified texts for text summarization and text simplification. We introduce a Semantic Relevance Based neural model to encourage high semantic similarity between texts and summaries. In our model, the source text is represented by a gated attention encoder, while the summary representation is produced by a decoder. Besides, the similarity score between the representations is maximized during training. Our experiments show that the proposed model outperforms the state-of-the-art systems on two benchmark corpus.

연구 동기 및 목표

• 기존의 순서-순서 모델에서 자주 낮게 나타나는 원본 텍스트와 생성된 요약/단순화 텍스트 간의 의미적 유사성을 향상시키기.
• 문법적으로는 올바르지만 의미적으로는 다소 벗어나 있는 출력을 생성하는 현재 모델의 한계를 해결하기.
• 의미적 정확도가 향상된 통합 프레임워크를 통해 텍스트 요약과 텍스트 단순화를 동시에 처리하기.
• 자기 게이팅 주의 인코더를 통해 장문의 텍스트 표현을 향상시켜 원본 콘텐츠의 반복적 또는 장기간 정보를 더 잘 포착하기.
• 학습 중에 원본 텍스트와 생성된 텍스트 간의 의미적 유사도를 최대화하기 위해 전용 유사도 평가 컴포넌트를 도입하기.

제안 방법

• 게이팅 메커니즘을 통해 동적 주의 가중치를 학습함으로써, 반복적 또는 긴 원본 텍스트를 더 잘 표현하기 위해 게이팅 주의 인코더를 사용하기.
• 암기된 원본 표현에서 단순화된 요약 또는 단순문장을 생성하기 위해 순서-순서 디코더를 활용하기.
• 원본 텍스트 표현과 생성된 텍스트 표현 간의 의미적 유사도를 계산하는 유사도 평가 컴포넌트를 도입하기.
• 학습 중에 의미적 유사도 점수를 최대화함으로써 모델을 종합적으로 최적화하여, 원본 의미와 밀접하게 일치하는 출력을 생성하도록 유도하기.
• 의미 이해를 향상시키기 위해 사전에 훈련된 문맥적 표현(주의 및 순서-순서 설정에 의해 암시됨)을 활용하기.
• 공통된 아키텍처 구성 요소를 사용하여 추출적 요약 및 문장 수준의 단순화 작업에 모델을 적용하기.

실험 결과

연구 질문

• RQ1 유사도 기반 학습 목표가 요약 및 단순화 과정에서 원본 텍스트와 생성된 텍스트 간의 의미적 유사성을 향상시키는 데 효과적인가?
• RQ2 자기 게이팅 주의 인코더가 원본 텍스트의 장거리 의존성과 반복 콘텐츠를 포착하는 데 얼마나 효과적인가?
• RQ3 공통된 의미적 유사성 목표를 바탕으로 요약과 단순화를 동시에 학습할 경우, 작업별 최적화 모델보다 성능이 향상되는가?
• RQ4 기본적인 순서-순서 모델에 비해 제안된 모델이 의미적 이탈을 어느 정도 줄이는가?
• RQ5 LCSTS, PWKP 및 EW-SEW와 같은 벤치마크 데이터셋에서 의미적 정확도와 유창성 측면에서 모델의 성능은 어떠한가?

주요 결과

• SRB 모델은 LCSTS 및 EW-SEW 벤치마크 데이터셋에서 최신 기술을 초월하며, 의미적 유사성 향상을 입증합니다.
• 원본 텍스트에서의 의미적 이탈이 감소함에 따라 더 의미적으로 정확한 요약 및 단순화된 텍스트를 생성합니다.
• 유사도 기반 학습 목표는 사실 오류가 있거나 의미적으로 관련이 없는 콘텐츠의 생성을 효과적으로 줄입니다.
• 자기 게이팅 주의 인코더는 긴 복잡한 원본 텍스트의 표현을 향상시켜 성능 향상에 기여합니다.
• 기본 순서-순서 모델에 비해 원본 텍스트와 생성된 텍스트 간의 의미적 유사도 점수가 높아 향상된 성능을 기록합니다.
• 요약 및 단순화 과제 양쪽 모두에서 일관된 성능 향상이 나타나, 다양한 텍스트 생성 과제에 널리 적용 가능함을 시사합니다.