[論文レビュー] A Dual Reinforcement Learning Framework for Unsupervised Text Style Transfer

Fuli Luo, Peng Li+5 more|arXiv (Cornell University)|May 24, 2019

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 40

ひとこと要約

DualRL を導入する。直接的に one-step の source から target への写像と target から source への写像を学習する二重強化学習アプローチで、並列データに依存せず、スタイル精度と内容保持の報酬によって導かれ、監督データなしの非監督テキストスタイル転送を実現する。

ABSTRACT

Unsupervised text style transfer aims to transfer the underlying style of text but keep its main content unchanged without parallel data. Most existing methods typically follow two steps: first separating the content from the original style, and then fusing the content with the desired style. However, the separation in the first step is challenging because the content and style interact in subtle ways in natural language. Therefore, in this paper, we propose a dual reinforcement learning framework to directly transfer the style of the text via a one-step mapping model, without any separation of content and style. Specifically, we consider the learning of the source-to-target and target-to-source mappings as a dual task, and two rewards are designed based on such a dual structure to reflect the style accuracy and content preservation, respectively. In this way, the two one-step mapping models can be trained via reinforcement learning, without any use of parallel data. Automatic evaluations show that our model outperforms the state-of-the-art systems by a large margin, especially with more than 8 BLEU points improvement averaged on two benchmark datasets. Human evaluations also validate the effectiveness of our model in terms of style accuracy, content preservation and fluency. Our code and data, including outputs of all baselines and our model are available at https://github.com/luofuli/DualLanST.

研究の動機と目的

• 明示的な内容-スタイルの分離を避けることで、並列データなしの非監督テキストスタイル転送を動機づける。
• 双方向のスタイル転送（X->YおよびY->X）のための二重の一歩写像フレームワークを提案する。
• スタイル精度と内容保持を定量化する二重報酬を設計し、強化学習を通じて訓練を導く。
• 擬似並列データを用いたブートストラップ訓練のためのアニーリング付き擬似教師強制を導入し、擬似並列データで訓練をブートストラップし、徐々に純粋なRL訓練へ移行する。

提案手法

• 二つの一歩の seq2seq マッピングをモデル化する：f_theta: X->Y および g_phi: Y->X。
• 転送後の出力に対してスタイル精度報酬 R_s を提供するスタイル分類器を用いる。
• バックワード再構成確率 P(x|y') を内容保持報酬 R_c として用いる。
• 報酬を調和的な全体報酬 R に結合し、方策勾配法（Equation 4）で f と g を訓練する。
• Equation 5 のスケジュールで、アニーリング付き擬似教師強制を用いて擬似並列データを作成し、徐々に RL に依存する。
• 擬似並列データで事前訓練し、次に f と g の RL更新を交互に行い、閉ループを形成する（Algorithm 1）。
• バック翻訳に着想を得た擬似データ生成とアニーリングスケジュールを用いて露出バイアスを緩和する（Algorithm 2）。
• 自動指標（スタイル精度、BLEU、G2、H2）と Yelp（感情）および Gyafc（形式性）での人間評価で評価する。

実験結果

リサーチクエスチョン

• RQ1 明示的な内容-スタイル分離を伴わずに、二重の一歩写像フレームワークは非監督テキストスタイル転送を学習できるか？
• RQ2 スタイル精度と内容保持の二重報酬は、非並列データで効果的な RL ベースの訓練を可能にするか？
• RQ3 擬似教師強制のアニーリングは RL をブートストラップし、時間とともに擬似並列データへの依存を減らすのに役立つか？
• RQ4 DualRL は自動評価と人間評価の両方で、最先端の非監督スタイル転送法とどう比較されるか？

主な発見

• DualRL は 2 つのデータセットに跨って自動評価（G2 と H2）で最良の総合性能を達成し、BLEU ベースの内容保持指標で大幅に改善した。
• 人間評価は、DualRL が平均スコアで最良を示し、ベースラインより成功転送の割合が高いことを示している。
• 本手法はスタイル精度、内容保持、流暢さのバランスを取り、感情（Yelp）と形式性（Gyafc）のタスクのいくつかの強力なベースラインを上回る。
• アブレーション研究は、RLとMLEを組み合わせた（RL+MLE）が、スタイル精度と内容/流暢さの最適なトレードオフを提供することを示す。
• 本手法は、二重報酬を用いた双方向の一歩写像を直接学習することが、従来の二段階またはバック翻訳ベースのアプローチを上回ることを示している。