[논문 리뷰] Topic Sensitive Neural Headline Generation

Lei Xu, Ziyun Wang외 3명|arXiv (Cornell University)|2016. 08. 20.

Topic Modeling참고 문헌 9인용 수 4

한 줄 요약

이 논문은 주제별로 학습된 인코더와 디코더를 갖춘 주제 인식 인코더-디코더를 통합함으로써 헤드라인 품질을 햖थ한 주제 민감 신경 헤드라인 생성 모델(TopicNHG)을 제안한다. LDA를 사용해 주제를 할당하고 각 주제별로 별도의 시퀀스-투-시퀀스 모델을 훈련함으로써, LCSTS 데이터셋에서 SOTA 성능을 달성하며, 모든 메트릭에서 4%p의 절대적 향상과 주제별로 일관된 성능 향상을 보였다. 특히 정치 및 경제 분야에서 두드러진 성과를 보였다.

ABSTRACT

Neural models have recently been used in text summarization including headline generation. The model can be trained using a set of document-headline pairs. However, the model does not explicitly consider topical similarities and differences of documents. We suggest to categorizing documents into various topics so that documents within the same topic are similar in content and share similar summarization patterns. Taking advantage of topic information of documents, we propose topic sensitive neural headline generation model. Our model can generate more accurate summaries guided by document topics. We test our model on LCSTS dataset, and experiments show that our method outperforms other baselines on each topic and achieves the state-of-art performance.

연구 동기 및 목표

• 주제별 요약 패턴을 명시적으로 모델링하여 신경 헤드라인 생성을 향상시키는 것.
• 일반적인 신경 모델이 주제 의존적 요약 규칙를 포착하지 못하는 한계를 해결하는 것.
• 주제 정보를 인코더-디코더 아키텍처에 통합하여 헤드라인의 정확성과 일관성을 향상시키는 것.
• 주제 민감 모델링이 특히 주제 패턴이 뚜렷한 콘텐츠에서 더 집중적이고 정보량이 많은 요약을 이끌어낼 수 있음을 입증하는 것.

제안 방법

• 각 문서에 주제 레이블을 할당하기 위해 잠재적 디리클레 분할(LDA)을 적용한다.
• 각 주제별로 별도의 GRU 인코더와 디코더를 갖춘 시퀀스-투-시퀀스 모델을 훈련한다.
• 주제별로 표현된 정보를 기반으로 디코딩을 안내하는 주제 인식 어텐션 메커니즘을 사용한다.
• 입력 텍스트를 인코딩하기 위해 양방향 GRU를 사용하고, 전방 및 후방 은닉 상태를 연결한다.
• 주제별로 파라미터 공유 및 어텐션을 통해 문서-주제 정보를 모델에 통합한다.
• 통합 가능성이 높은 가능도 목표 함수를 활용: p(y, l|x, θ1, θ2) = p(l|x, θ1)p(y|x, l, θ2), 주제 추론과 헤드라인 생성을 통합한다.

실험 결과

연구 질문

• RQ1 주제 정보는 신경 헤드라인 생성 품질을 향상시킬 수 있는가?
• RQ2 다른 주제들은 서로 다른 요약 패턴을 보이며, 이를 모델이 활용할 수 있는가?
• RQ3 주제별로 별도의 인코더와 디코더를 훈련하는 것이 단일 일반 모델보다 성능을 향상시키는가?
• RQ4 정치, 경제, 사고 등 다양한 주제에서 주제 민감도는 성능에 어떤 영향을 미치는가?
• RQ5 특히 복잡한 주제에서 문장 순서와 같은 표면적 신호에 과도하게 의존하는 경향을 주제 인식 모델링이 줄일 수 있는가?

주요 결과

• TopicNHG는 LCSTS 데이터셋에서 베이스라인 모델 대비 ROUGE-F1 점수에서 4%p 절대적 향상을 기록했으며, 38.4 vs. 34.7이다.
• ROUGE 메트릭 전반에서(ROUGE-1, ROUGE-2, ROUGE-L) 베이스라인 및 CopyNet을 모두 초월했다.
• 개별 주제별로도 TopicNHG는 모든 카테고리에서 최고 성능을 기록했으며, 정치 분야에서 가장 큰 향상을 보였다(ROUGE-F1: 39.6 vs. 33.1).
• 사례 연구 결과, TopicNHG는 정치 웨이보에서 주요 내용을 정확히 식별하는 것으로 나타났다. 예를 들어, 4000위안의 경제적 주거 보조 제도 폐지 사항을 정확히 반영한 반면, 베이스라인은 기자회견 공고를 우선시하는 오류를 보였다.
• 모델은 강건성과 통계적 유의성을 보였으며, 각 주제에서 일관되게 베이스라인을 능가함으로써 주제별 요약 패턴을 효과적으로 학습한 것으로 나타났다.
• 특히 키 정보가 후반부에 위치한 주제에서 첫 번째 문장의 영향력에 과도하게 의존하는 경향을 줄였다.