[논문 리뷰] The Style-Content Duality of Attractiveness: Learning to Write Eye-Catching Headlines via Disentanglement

Mingzhe Li, Xiuying Chen외 4명|arXiv (Cornell University)|2020. 12. 14.

Video Analysis and Summarization참고 문헌 45인용 수 4

한 줄 요약

이 논문은 프로토타입 헤드라인에서 매력적인 콘텐츠와 스타일을 분리하여 눈에 띄고 콘텐츠 정확도가 높은 헤드라인을 생성하는 디센트링거 기반 모델인 DAHG를 제안한다. 잠재 공간에서 스타일과 콘텐츠를 분리하고 이를 헤드라인 생성에 안내함으로써 DAHG는 최신 기술 수준의 성능을 달성하여 Kuaibao 데이터셋에서 기존 모델 대비 22% 더 많은 클릭을 유도한다.

ABSTRACT

Eye-catching headlines function as the first device to trigger more clicks, bringing reciprocal effect between producers and viewers. Producers can obtain more traffic and profits, and readers can have access to outstanding articles. When generating attractive headlines, it is important to not only capture the attractive content but also follow an eye-catching written style. In this paper, we propose a Disentanglement-based Attractive Headline Generator (DAHG) that generates headline which captures the attractive content following the attractive style. Concretely, we first devise a disentanglement module to divide the style and content of an attractive prototype headline into latent spaces, with two auxiliary constraints to ensure the two spaces are indeed disentangled. The latent content information is then used to further polish the document representation and help capture the salient part. Finally, the generator takes the polished document as input to generate headline under the guidance of the attractive style. Extensive experiments on the public Kuaibao dataset show that DAHG achieves state-of-the-art performance. Human evaluation also demonstrates that DAHG triggers 22% more clicks than existing models.

연구 동기 및 목표

• 콘텐츠 관련성과 스타일적 매력성을 동시에 최적화하지 못하는 헤드라인 생성 모델의 격차를 해소하기 위해.
• 매력성은 단일 속성으로 보다는 '무엇이 말해지는가'(콘텐츠)와 '어떻게 말해지는가'(스타일)의 이원성으로 모델링하기 위해.
• 프로토타입 헤드라인의 분리된 콘텐츠 및 스타일 표현을 활용하여 헤드라인 생성 과정을 안내함으로써 헤드라인 생성을 향상시키기 위해.
• 생성된 헤드라인이 매력적이면서도 원본 문서에 충실하여 클릭베이트 리스크를 줄이기 위해.

제안 방법

• 디센트링거 모듈은 두 가지 보조 제약 조건을 사용하여 프로토타입 헤드라인의 매력적인 콘텐츠와 스타일을 별도의 잠재 공간으로 분리한다.
• 학습된 콘텐츠 공간을 활용해 입력 문서 표현에서 주목할 만하고 매력적인 부분을 반복적으로 강조한다.
• 헤드라인 생성기는 다듬어진 문서 표현과 분리된 매력적인 스타일 임베딩을 조건으로 하여 헤드라인을 생성한다.
• ROUGE와 BLEU 지표를 사용하고 인간 평가를 통해 클릭률을 측정함으로써 Kuaibao 데이터셋에서 엔드 투 엔드로 모델을 훈련시킨다.
• 프로토타입 선택은 입력 문서와 프로토타입 헤드라인 간의 의미 유사도를 기반으로 하여 관련된 스타일과 콘텐츠 전이를 보장한다.
• 잠재 공간에서의 분리가 보장되도록 보조 제약 조건을 통해 디센트링거를 강화함으로써 스타일과 콘텐츠가 상호 독립적이도록 한다.

실험 결과

연구 질문

• RQ1 헤드라인에서 콘텐츠와 스타일을 분리하면 생성된 헤드라인의 사실적 충실성과 매력성 모두 향상될 수 있는가?
• RQ2 프로토타입 헤드라인의 선택이 생성된 헤드라인의 품질과 관련성에 어떤 영향을 미치는가?
• RQ3 분리된 스타일 표현은 콘텐츠 정확도를 희생시키지 않고도 더 매력적이고 클릭 유도력이 높은 헤드라인 생성을 안내할 수 있는가?
• RQ4 엔드 투 엔드 추상적 모델 대비 디센트링거 메커니즘이 헤드라인 품질 향상에 얼마나 기여하는가?

주요 결과

• DAHG는 Kuaibao 데이터셋에서 최신 기술 수준의 성능을 달성하여 ROUGE와 BLEU 지표에서 모든 추상적 및 추출적 기준 모델을 능가한다.
• 인간 평가 결과, DAHG가 생성한 헤드라인은 가장 강력한 기준 모델 대비 22% 더 많은 클릭을 유도한다.
• 프로토타입 헤드라인이 입력 문서와 의미적으로 유사할 경우, DAHG는 핵심 사건을 정확히 반영하면서도 주목을 끄는 헤드라인을 생성한다.
• 틀리거나 부적절한 프로토타입 헤드라인이 선택될 경우 생성 품질이 떨어지며, 특히 관련 없는 콘텐츠(예: 갈등 대비 성별 강조)를 강조하는 경우 더욱 악화된다.
• 디센트링거 메커니즘은 스타일과 콘텐츠를 성공적으로 분리하여 모델이 사실적 콘텐츠를 유지하면서도 스타일적 매력을 향상시킬 수 있도록 한다.
• PESG 및 Sensation 등의 기준 모델은 유창하지만 종종 사실에 어긋나거나 지나치게 과장된 헤드라인을 생성하지만, DAHG는 콘텐츠 일관성을 유지하면서도 매력성을 향상시킨다.