[논문 리뷰] Improving Semantic Relevance for Sequence-to-Sequence Learning of Chinese Social Media Text Summarization

Shuming Ma, Xu Sun외 4명|arXiv (Cornell University)|2017. 06. 08.

Topic Modeling참고 문헌 14인용 수 5

한 줄 요약

이 논문은 원본 텍스트와 요약본 표현 간 유사도를 최대화하여 중국어 소셜미디어 텍스트 요약에서 의미적 유사성을 향상시키기 위해 의미적 유사성 기반(SRB) 신경망 모델을 제안한다. 게이트형 어텐션 인코더와余弦 유사도 손실을 갖춘 디코더를 사용하여, ROUGE 점수에서 기준 RNN 및 어텐션 기반 모델을 능가하며, ROUGE-1에서 33.3의 F1 점수와 ROUGE-L에서 30.1의 점수를 기록하여 생성된 요약의 의미적 정확도가 높음을 입증한다.

ABSTRACT

Current Chinese social media text summarization models are based on an encoder-decoder framework. Although its generated summaries are similar to source texts literally, they have low semantic relevance. In this work, our goal is to improve semantic relevance between source texts and summaries for Chinese social media summarization. We introduce a Semantic Relevance Based neural model to encourage high semantic similarity between texts and summaries. In our model, the source text is represented by a gated attention encoder, while the summary representation is produced by a decoder. Besides, the similarity score between the representations is maximized during training. Our experiments show that the proposed model outperforms baseline systems on a social media corpus.

연구 동기 및 목표

• 짧고 노이즈가 많은 중국어 소셜미디어 텍스트의 개괄적 요약에서 낮은 의미적 유사성 문제를 해결한다.
• 문법적으로는 타당하지만 의미적으로 분리된 요약을 생성하는 기존의 순서-순서 모델을 개선한다.
• 학습 중에 의미적 유사성을 명시적으로 모델링하여 원본 콘텐츠와 생성된 요약 간의 정렬을 향상시킨다.
• 의미적 유사성 최적화가 기준 모델에 비해 더 정확하고 관련성이 높은 요약을 생성함을 입증한다.
• 게이트형 어텐션 인코더가 요약 작업을 위한 원본 텍스트 표현 향상에 기여하는지 평가한다.

제안 방법

• 원본 텍스트 내 단어 중요도를 동적으로 가중하는 게이트형 어텐션 인코더를 사용하여 노이즈를 감소시키고 핵심 의미 표현을 강화한다.
• 어텐션 메커니즘의 컨텍스트 벡터에 조건을 두고 토큰 단위로 요약을 생성하는 단방향 RNN 디코더를 사용한다.
• 인코더의 최종 은닉 상태와 디코더 간의 여측 유사도 함수를 도입하여 의미적 유사도를 측정한다.
• 학습 중에 원본 및 요약 표현 간 여측 유사도 점수를 최대화함으로써 모델을 종합적으로 최적화한다.
• 생성에 대한 교차 엔트로피 손실과 의미 정렬을 장려하는 대비 유사도 손실을 함께 사용하여 모델을 훈련한다.
• 중국어 소셜미디어 요약 코퍼스에 모델을 적용하고, 성능 평가를 위해 ROUGE 지표를 사용한다.

실험 결과

연구 질문

• RQ1 원본 텍스트와 생성된 요약 간의 의미적 유사성 최적화를 명시적으로 수행하면 중국어 소셜미디어 요약 품질이 향상되는가?
• RQ2 표준 RNN 인코더에 비해 게이트형 어텐션 인코더는 짧고 노이즈가 많은 소셜미디어 텍스트의 표현에 어떤 영향을 미치는가?
• RQ3 유사도 기반 학습 목표는 원본과 요약 간 의미적 산란을 어느 정도 감소시키는가?
• RQ4 ROUGE 점수와 의미적 유사성 측면에서 제안된 모델은 최신 개괄적 요약 모델에 비해 어떻게 비교되는가?
• RQ5 복사 메커니즘이 없으면 성능에 제한이 있으며, 이에 대해 유사도 기반 학습이 보완할 수 있는가?

주요 결과

• SRB 모델은 ROUGE-1 F1 점수 33.3, ROUGE-2 20.0, ROUGE-L 30.1을 기록하여 기준 RNN 및 RNN 컨텍스트 모델을 능가한다.
• 게이트형 어텐션 인코더는 노이즈가 많고 관련성이 없는 단어를 걸러내어 요약 콘텐츠와의 더 나은 정렬을 이끌어내 의미 표현을 향상시킨다.
• qualitative 예시에서 SRB는 核심 아이디어를 포착하지만 RNN은 문장 그대로이지만 의미적으로 분리된 출력을 생성하므로, SRB 모델은 기준 모델보다 더 높은 의미적 관련성을 갖는 요약을 생성한다.
• 게이트형 어텐션을 갖춘 SRB 모델(SRB+Attention)이 가장 높은 성능을 기록하여 강화된 원본 표현의 효과를 확인한다.
• COPYNET는 복사 메커니즘 덕분에 더 높은 ROUGE 점수를 기록하여, 향후 SRB 모델에 복사 기능을 통합하면 성능 향상이 가능할 것임을 시사한다.
• 유사도 기반 학습 목표는 명시적 복사 또는 포인터 네트워크 없이도 모델이 원본에 더 가까운 의미적 요약을 생성하도록 유도하는 데 성공했다.