[論文レビュー] Contextual Text Style Transfer

Yu Cheng, Zhe Gan+4 more|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 37被引用数 5

ひとこと要約

本稿では、文脈的整合性を保ちつつ意味を維持する文のスタイル転送という、新しいタスクを紹介する。提案されたCASTモデルは、文と文脈のための別個のエンコーダー、およびスタイルと整合性を評価する分類器を備え、自己再構成とバックトランスレーション損失を用いて並列データと非並列データの両方を活用する。この手法により、Enron-ContextおよびReddit-Contextの2つの新しいベンチマークで最先端の結果が達成された。

ABSTRACT

We introduce a new task, Contextual Text Style Transfer - translating a sentence into a desired style with its surrounding context taken into account. This brings two key challenges to existing style transfer approaches: ($i$) how to preserve the semantic meaning of target sentence and its consistency with surrounding context during transfer; ($ii$) how to train a robust model with limited labeled data accompanied with context. To realize high-quality style transfer with natural context preservation, we propose a Context-Aware Style Transfer (CAST) model, which uses two separate encoders for each input sentence and its surrounding context. A classifier is further trained to ensure contextual consistency of the generated sentence. To compensate for the lack of parallel data, additional self-reconstruction and back-translation losses are introduced to leverage non-parallel data in a semi-supervised fashion. Two new benchmarks, Enron-Context and Reddit-Context, are introduced for formality and offensiveness style transfer. Experimental results on these datasets demonstrate the effectiveness of the proposed CAST model over state-of-the-art methods across style accuracy, content preservation and contextual consistency metrics.

研究の動機と目的

• 単一文のみを対象としている既存のスタイル転送モデルには、長文におけるトピックの一貫性が欠けるという限界があるため、それを是正すること。
• 段落レベルの文脈設定において、スタイル転送の質と文脈的一致性を同時に最適化するモデルの開発。
• 並列スタイル転送データの不足を補うために、自己教師あり目的関数を用いて非並列データを統合すること。
• 段落レベルの文脈アノテーションを備えた、Enron-ContextおよびReddit-Contextを含む、文脈的スタイル転送のための新規ベンチマークの確立。
• 現実世界の応用において、文脈に配慮したモデリングがコンテンツの保持、スタイルの正確性、整合性に与える影響の評価。

提案手法

• CASTモデルは、ターゲット文とその周囲の段落文脈のための別個のエンコーダーを採用する。
• 文と文脈エンコーダーからの特徴を統合して、スタイル転送された文を生成するジョイントデコーダーを用いる。
• 生成過程で望ましいターゲットスタイルを強制するために、事前学習済みのスタイル分類器を用いる。
• 生成された文が周囲の文脈と意味的に整合していることを保証するため、整合性分類器を訓練する。
• 非並列データを半教師ありの方法で活用するため、自己再構成とバックトランスレーション損失を導入する。
• 並列データと非並列データの両方を用いて、エンドツーエンドで統合的に学習させることで、モデルのロバスト性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 文をその段落の文脈の中で変更する際、意味的およびトピック的一致性を維持できるように、スタイル転送モデルをどのように改善できるか？
• RQ2 文脈に配慮したエンコーダーと整合性分類器は、文のみを対象とするモデルと比較して、スタイル転送出力の質をどの程度向上させるか？
• RQ3 自己教師あり目的関数（自己再構成とバックトランスレーション）は、スタイル転送における並列学習データの制限を効果的に補うことができるか？
• RQ4 文脈の組み込みが、フォーマルおよび攻撃的言語の転送において、スタイルの正確性、コンテンツ保持、整合性に与える影響は何か？
• RQ5 文脈エンコーダーや整合性分類器といったCASTモデルの各コンponentが、全体の性能に果たす相対的寄与度は何か？

主な発見

• CASTは、フォーマル／アンフォーマル転送タスクで68.04％のスタイル正確性を達成し、攻撃的／非攻撃的転送タスクでは88.45％を記録し、すべてのベースラインを上回った。
• モデルはフォーマライゼーションタスクで85.47、攻撃的言語転送で85.98の文脈的一致性を向上させ、文脈に無関係なモデルを著しく上回った。
• アブレーションスタディの結果、文脈エンコーダーを削除すると、一貫性が2.56ポイント、正確性が2.69ポイント低下し、その重要性が示された。
• 整合性分類器の導入により、ベースライン比で一貫性が5.31ポイント向上したが、スタイル正確性への影響は限定的であった。
• 非並列データを活用することで、スタイル正確性が10.12ポイント、一貫性が10.02ポイント向上し、ハイブリッド学習の有効性が裏付けられた。
• 人間による評価では、コンテンツ保持、スタイル制御、文脈的一致性の観点で、CASTがベースラインを著しく上回っており、65.5％の評価がCASTを次善のモデルよりも好んだ。