[論文レビュー] Language Style Transfer from Sentences with Arbitrary Unknown Styles

Yanpeng Zhao, Wei Bi+4 more|arXiv (Cornell University)|Aug 13, 2018

Topic Modeling参考文献 27被引用数 10

ひとこと要約

本論文は、文のスタイルが任意で未知である状況を想定し、スタイル差異損失とサイクル整合性損失を用いてコンテンツとスタイルの表現を分離することで、任意の未知スタイルを持つ文の言語スタイル変換を実現するエンコーダ・デコーダフレームワークを提案する。モデルは感情の変更、ロマンチックな対話応答の再編集、シェイクスピア風スタイルへの変換の各タスクにおいて、自動評価および人的評価の両方で先行手法を上回り、優れたコンテンツ保持性とスタイル変換の質を達成した。

ABSTRACT

Language style transfer is the problem of migrating the content of a source sentence to a target style. In many of its applications, parallel training data are not available and source sentences to be transferred may have arbitrary and unknown styles. First, each sentence is encoded into its content and style latent representations. Then, by recombining the content with the target style, we decode a sentence aligned in the target domain. To adequately constrain the encoding and decoding functions, we couple them with two loss functions. The first is a style discrepancy loss, enforcing that the style representation accurately encodes the style information guided by the discrepancy between the sentence style and the target style. The second is a cycle consistency loss, which ensures that the transferred sentence should preserve the content of the original sentence disentangled from its style. We validate the effectiveness of our model in three tasks: sentiment modification of restaurant reviews, dialog response revision with a romantic style, and sentence rewriting with a Shakespearean style.

研究の動機と目的

• ソース文のスタイルが任意で未知であり、並列学習データが利用できない状況における言語スタイル変換を解決すること。
• 潜在空間における文のコンテンツとスタイルを分離することで、意味的整合性を保ちながらスタイル変換を可能にすること。
• 並列文ペアを必要としない訓練フレームワークを構築し、コンテンツ保持性と正確なスタイル変換を保証すること。
• 感情の変更、パーソナベースの対話応答再編集、歴史的言語スタイルへの変換を含む多様なスタイル変換タスクにおいてモデルを評価すること。

提案手法

• モデルはエンコーダ・デコーダアーキテクチャを用い、入力文を別々のコンテンツおよびスタイルの潜在表現にマッピングする。
• スタイル差異損失を導入し、ソース文のスタイル表現をターゲットスタイルに一致させるために、ソーススタイルとターゲットスタイルの差異を測定する。
• サイクル整合性損失により、変換された文が再エンコーディングされて元の文に戻るよう保証し、コンテンツの整合性を維持する。
• 訓練中にこれら2つの損失を統合的に最適化することで、表現の分離と忠実度を強制する。
• 並列データを一切必要とせず、非並列データ上でエンドツーエンドに訓練される。
• フレームワークは3つの異なるタスクで評価された：Yelpレビューアプリケーションにおける感情変換、ロマンチックなパーソナベース対話応答の再編集、シェイクスピア風文の再構築。

実験結果

リサーチクエスチョン

• RQ1 並列学習データが存在しない状況でも、任意で未知のスタイルを持つソース文を効果的に処理できるスタイル変換モデルは構築可能か？
• RQ2 潜在空間におけるコンテンツとスタイルをどのように分離することで、意味的整合性を保ちつつ正確なスタイル変換を実現できるか？
• RQ3 提案手法のスタイル差異損失は、既存手法と比較してどの程度スタイル変換の正確性を向上させるか？
• RQ4 真の並列文が存在しない状況下で、サイクル整合性損失はコンテンツ保持性にどのように寄与するか？
• RQ5 モデルは感情、パーソナベース、歴史的言語スタイルを含む多様なスタイル変換タスクに一般化可能か？

主な発見

• Yelpレビューデータセットにおいて、人間評価スコアが 2.805 ± 0.314 を達成し、STB（Cycを併用）の 2.771 ± 0.290 や他のベースラインを顕著に上回った。
• Chatデータセットでは、ターゲットサンプルが10,000個の条件下でテスト精度が 0.962 ± 0.002 を達成し、STB（Cycを併用）の 0.880 ± 0.016 を上回った。
• Yelpデータセットで150,000個のターゲットサンプルを用いた場合、テスト精度が 0.965 ± 0.003 を達成し、強力なロバストネスとスケーラビリティを示した。
• シェイクスピア風スタイル変換タスクでは、テスト精度が 0.965 ± 0.009 を達成し、STB（Cycを併用）の 0.956 ± 0.014 を上回り、より自然でスタイルに忠実な文を生成した。
• 人的評価では、本モデルの出力が、コンテンツ保持性、感情の変更、文の流暢さの観点で、既存手法を上回ることが確認された。
• 「しゅうじん」や「まにまに」、「ひかり」などの時代特有の語彙を効果的に使用してシェイクスピア風の文を生成したことで、スタイルモデリングの有効性が裏付けられた。