[논문 리뷰] Diverse, Controllable, and Keyphrase-Aware: A Corpus and Method for News Multi-Headline Generation

Dayiheng Liu, Yeyun Gong외 7명|arXiv (Cornell University)|2020. 04. 08.

Advanced Text Analysis Techniques참고 문헌 28인용 수 4

한 줄 요약

이 논문은 키프레이즈를 고려한 다중 헤드라인 생성 방법을 제안하며, 키프레이즈, 필터링된 기사, 원본 콘텐츠를 통합하는 다중 소스 트랜스포머 디코더를 사용하여 다양하고 고급이며 관련성이 높은 헤드라인을 생성한다. 저자들은 실제 사용자 검색 및 클릭 데이터에서 추출한 대규모(18만 3개의 트리플) 키프레이즈 인식 뉴스 헤드라인 코퍼스를 구축하였으며, 실제 환경 기준에서 헤드라인 품질, 관련성, 다양성 측면에서 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

News headline generation aims to produce a short sentence to attract readers to read the news. One news article often contains multiple keyphrases that are of interest to different users, which can naturally have multiple reasonable headlines. However, most existing methods focus on the single headline generation. In this paper, we propose generating multiple headlines with keyphrases of user interests, whose main idea is to generate multiple keyphrases of interest to users for the news first, and then generate multiple keyphrase-relevant headlines. We propose a multi-source Transformer decoder, which takes three sources as inputs: (a) keyphrase, (b) keyphrase-filtered article, and (c) original article to generate keyphrase-relevant, high-quality, and diverse headlines. Furthermore, we propose a simple and effective method to mine the keyphrases of interest in the news article and build a first large-scale keyphrase-aware news headline corpus, which contains over 180K aligned triples of $$. Extensive experimental comparisons on the real-world dataset show that the proposed method achieves state-of-the-art results in terms of quality and diversity

연구 동기 및 목표

• 단일 헤드라인 생성의 한계를 해결하기 위해 뉴스 기사에 대해 다수의 제어 가능하고 키프레이즈 관련 헤드라인 생성을 가능하게 한다.
• 사용자 검색 및 클릭 데이터를 활용해 실제 사용자 관심사를 반영하는 대규모 실세계 키프레이즈 인식 뉴스 헤드라인 코퍼스를 구축한다.
• 다중 소스 어텐션을 통해 품질 향상과 키프레이즈 민감도 향상을 달성하기 위해 다중 소스 트랜스포머 디코더를 설계한다.
• 사용자 관심 키프레이즈를 명시적 지침으로 통합함으로써 제어 가능하고 다양한 고품질의 헤드라인 생성을 가능하게 한다.
• 개인화된 뉴스 추천 및 에디터리어 지원을 지원하는 제어 가능한 생성 프레임워크를 제공한다.

제안 방법

• 사용자 검색 쿼리와 뉴스 기사에 대한 클릭스루 데이터에서 공통 어휘를 분석함으로써 사용자 관심 키프레이즈를 식별하는 키프레이즈 마이닝 방법을 제안한다.
• 실제 빙 검색 로그에서 유도된 18만 3개의 (뉴스 기사, 헤드라인, 키프레이즈) 트리플을 포함한 대규모 키프레이즈 인식 뉴스 헤드라인 코퍼스(KeyAware News)를 구축한다.
• 키프레이즈, 키프레이즈 필터링된 기사, 원본 기사의 세 가지 입력을 갖춘 다중 소스 트랜스포머 디코더를 설계하여 키프레이즈 관련성과 다양성을 향상시킨다.
• 디코더 내에서 다중 소스 정보를 효과적으로 통합하기 위해 세 가지 유형의 어텐션 기반 융합 메커니즘을 탐색하고 비교한다.
• 키프레이즈 생성 후 키프레이즈 인식 헤드라인 생성을 수행하는 두 단계 파이프라인을 사용하여 헤드라인 생성 모델을 훈련하고 평가한다.
• 전문 평가자들이 참여하는 인간 평가를 통해 헤드라인 품질을 평가하며, 정량적 평가 지표를 활용해 모델 출력을 검증한다.

실험 결과

연구 질문

• RQ1 키프레이즈 인식 헤드라인 생성이 단일 헤드라인 기반 모델 대비 뉴스 헤드라인의 다양성과 관련성 향상에 기여하는가?
• RQ2 다중 소스 트랜스포머 디코더는 키프레이즈, 필터링된 기사, 원본 기사 입력을 효과적으로 통합하여 헤드라인 생성에 기여하는가?
• RQ3 채굴된 사용자 검색 및 클릭 데이터가 뉴스 기사에서 사용자 관심 키프레이즈를 신뢰성 있게 식별하는 데 얼마나 효과적인가?
• RQ4 키프레이즈 지침을 통합함으로써 인간 에디터가 더 수용할 수 있는 고품질의 헤드라인을 생성할 수 있는가?
• RQ5 제안된 방법은 각 기사에 대해 다수의 고품질 헤드라인을 다양하고 맥락적으로 관련 있게 생성할 수 있는가?

주요 결과

• 제안된 방법은 실제 환경 데이터셋에서 헤드라인 품질, 관련성, 다양성 측면에서 최신 기술 수준의 성능을 달성하며 강력한 기준 모델들을 능가한다.
• 인간 평가 결과, 골든 헤드라인의 적합률은 91.8%이며, BASE + Stack 모델 대비 62.6%로 높은 품질을 보였다.
• 제안된 방법(BASE + StackFuse)의 적합률은 다양한 기준 모델(36.2%)과 무작위 헤드라인(0.0%)보다 유의미하게 높아 향상된 품질과 수용 가능성 확인.
• 인간 평가자와 자동 평가 지표를 통해 특정 키프레이즈와 관련성이 높고 다양한 헤드라인을 생성하는 것으로 검증되었다.
• 키프레이즈 인식 코퍼스 구축 방법은 검색 및 클릭 데이터를 활용해 사용자 관심 키프레이즈를 성공적으로 식별하였으며, 훈련 및 평가 자원으로서 신뢰할 수 있는 기반을 마련하였다.
• 트랜스포머 디코더 내 다중 소스 어텐션 메커니즘은 키프레이즈, 필터링된 기사, 원본 기사 입력을 효과적으로 융합하여 관련성과 다양성 향상에 기여하였다.