[論文レビュー] The Style-Content Duality of Attractiveness: Learning to Write Eye-Catching Headlines via Disentanglement

Mingzhe Li, Xiuying Chen+4 more|arXiv (Cornell University)|Dec 14, 2020

Video Analysis and Summarization参考文献 45被引用数 4

ひとこと要約

本稿では、プロトタイプの見出しから魅力的なコンテンツとスタイルを分離することで、目を引く内容正確な見出しを生成する、分離に基づくモデルDAHGを提案する。潜在空間におけるスタイルとコンテンツの分離を活用し、それらを用いて見出し生成をガイドすることで、DAHGは最先端の性能を達成し、Kuaibaoデータセットにおいてベースラインより22%多くのクリックを誘発する。

ABSTRACT

Eye-catching headlines function as the first device to trigger more clicks, bringing reciprocal effect between producers and viewers. Producers can obtain more traffic and profits, and readers can have access to outstanding articles. When generating attractive headlines, it is important to not only capture the attractive content but also follow an eye-catching written style. In this paper, we propose a Disentanglement-based Attractive Headline Generator (DAHG) that generates headline which captures the attractive content following the attractive style. Concretely, we first devise a disentanglement module to divide the style and content of an attractive prototype headline into latent spaces, with two auxiliary constraints to ensure the two spaces are indeed disentangled. The latent content information is then used to further polish the document representation and help capture the salient part. Finally, the generator takes the polished document as input to generate headline under the guidance of the attractive style. Extensive experiments on the public Kuaibao dataset show that DAHG achieves state-of-the-art performance. Human evaluation also demonstrates that DAHG triggers 22% more clicks than existing models.

研究の動機と目的

• コンテンツの関連性とスタイルの魅力の両方を同時に最適化できない見出し生成モデルのギャップを解消すること。
• 魅力を、伝えられる内容（何が伝えられているか）と伝え方（どのように伝えられているか）の二重性としてモデル化すること。単一の属性として扱うのではなく、この二重性を捉えること。
• プロトタイプ見出しの分離済みのコンテンツおよびスタイル表現を活用し、生成プロセスをガイドすることで、見出し生成を改善すること。
• 生成された見出しが魅力的でありながらも、元の文書に忠実であることを保証し、クリックベイトのリスクを低減すること。

提案手法

• 分離モジュールは、二つの補助制約を用いて、プロトタイプ見出しの魅力的なコンテンツとスタイルを、それぞれ独立した潜在空間に分離する。
• 学習されたコンテンツ空間を用いて、入力文書表現における顕著で魅力的な部分を繰り返し強調する。
• 見出し生成器は、磨き上げられた文書表現と分離済みの魅力的なスタイル埋め込みに基づいて見出しを生成する。
• ROUGEおよびBLEU指標を用い、Kuaibaoデータセット上でエンドツーエンドにモデルを訓練する。クリックスルーレートの評価には人的評価も併用する。
• プロトタイプ選定は、入力文書とプロトタイプ見出しとの間の意味的類似度に基づき、関連性のあるスタイルとコンテンツの転送を保証する。
• 潜在空間における分離を促進する補助制約を用いて分離を強制することで、スタイルとコンテンツが独立していることを保証する。

実験結果

リサーチクエスチョン

• RQ1 見出しにおけるコンテンツとスタイルの分離は、生成された見出しの事実的忠実性と魅力の両方を向上させることができるか？
• RQ2 プロトタイプ見出しの選定が、生成された見出しの質と関連性にどのように影響するか？
• RQ3 分離済みのスタイル表現は、コンテンツの正確性を損なわず、より魅力的でクリックを誘う見出しの生成を可能にするか？
• RQ4 エンドツーエンドの抽象的生成モデルと比較して、分離メカニズムは見出し品質をどの程度向上させるか？

主な発見

• DAHGはKuaibaoデータセットにおいて最先端の性能を達成し、ROUGEおよびBLEU指標で、すべての抽象的および抽出的ベースラインを上回った。
• 人的評価の結果、DAHGが生成した見出しは、最も強力なベースラインモデルよりも22%多くのクリックを誘発した。
• プロトタイプ見出しが入力文書と意味的に類似している場合、DAHGは重要な出来事の正確な反映に加え、注目を引きつける見出しを生成した。
• 不適切または一致しないプロトタイプ見出しを使用すると、生成品質が著しく低下し、特に関係のない内容（例：紛争よりも性別）に焦点を当てた場合に顕著であった。
• 分離メカニズムは、スタイルとコンテンツを効果的に分離し、モデルが事実を保持しながらもスタイルの魅力を強化できるようにした。
• PESG や Sensation などのベースラインは、流暢な見出しを生成するが、しばしば事実に忠実でなかったり、誇張された表現を含む。一方、DAHGはコンテンツの一貫性を保ちながらも、魅力を向上させた。