[論文レビュー] A Hierarchical Reinforced Sequence Operation Method for Unsupervised Text Style Transfer

Chen Wu, Xuancheng Ren+2 more|arXiv (Cornell University)|Jun 5, 2019

Natural Language Processing Techniques参考文献 25被引用数 5

ひとこと要約

この論文では、操作計画（高レベルエージェント）と実行（低レベルエージェント）を分離することで、解釈可能性、コンテンツの保持、制御可能なスタイル・コンテンツのトレードオフを向上させる、非教師付きテキストスタイル変換のための階層的強化学習手法Point-Then-Operate（PTO）を提案する。実験の結果、YelpおよびAmazonのデータセットにおいて、流暢さ、スタイル変換の質、コンテンツ保持の観点で、最近の手法を上回ることが示された。

ABSTRACT

Unsupervised text style transfer aims to alter text styles while preserving the content, without aligned data for supervision. Existing seq2seq methods face three challenges: 1) the transfer is weakly interpretable, 2) generated outputs struggle in content preservation, and 3) the trade-off between content and style is intractable. To address these challenges, we propose a hierarchical reinforced sequence operation method, named Point-Then-Operate (PTO), which consists of a high-level agent that proposes operation positions and a low-level agent that alters the sentence. We provide comprehensive training objectives to control the fluency, style, and content of the outputs and a mask-based inference algorithm that allows for multi-step revision based on the single-step trained agents. Experimental results on two text style transfer datasets show that our method significantly outperforms recent methods and effectively addresses the aforementioned challenges.

研究の動機と目的

• 非教師付きテキストスタイル変換における従来のseq2seq手法の弱い解釈可能性を改善すること。
• 強力なスタイル変換にもかかわらず、生成出力におけるコンテンツ保持の悪さを克服すること。
• 従来の手法におけるコンテンツ保持とスタイル極性の取り扱いが困難なトレードオフを解消すること。
• 入力文の明示的で段階的な修正を可能にすることで、より良い制御性と解釈可能性を実現する手法を開発すること。
• 単一ステップで学習された階層的強化学習フレームワークを用いて、安定した学習とマルチステップ推論を実現すること。

提案手法

• 高レベルエージェントが操作の位置を提案し、低レベルエージェントが文の修正を実行する階層的強化学習（HRL）フレームワークを採用する。
• 包括的な報酬を用いたポリシーに基づく学習アルゴリズムを採用：文法的流暢さのための言語モデル報酬、スタイル極性のための分類信頼度報酬と補助タスク、コンテンツ保持のための再構成報酬と自己教師付き損失。
• 単一ステップの軌道でのみ学習するが、推論時にマルチステップの修正が可能なマスクベースの推論アルゴリズムを導入し、学習の安定性を向上させる。
• 局所的意味単位を処理し、削除時の文脈のマスキングを回避するため、ウィンドウベースの操作メカニズム（ウィンドウサイズ=1）を適用する。
• 高レベルエージェントが操作の位置（例：置換、削除）を選択し、低レベルエージェントがその位置に基づいてスタイル固有の編集を実行する。
• 操作ステップ数を調整することでスタイル・コンテンツのトレードオフをバランスさせ、スタイル変換の強度を制御可能にする。

実験結果

リサーチクエスチョン

• RQ1 階層的強化学習フレームワークは、操作の位置と行動を明示的にモデル化することで、テキストスタイル変換の解釈可能性を向上させることができるか？
• RQ2 シーケンス操作ベースの手法は、エンドツーエンドのseq2seqモデルと比較して、スタイルに依存しないコンテンツをどの程度保持できるか？
• RQ3 非教師付き設定において、スタイル極性とコンテンツ保持のトレードオフを効果的に制御できるか？
• RQ4 マスクベースの推論戦略は、マルチステップの修正を単一ステップで学習したエージェントを用いて安定的に実現できるか？
• RQ5 最近の最先端の非教師付きテキストスタイル変換モデルと比較して、本手法は流暢さ、スタイル変換の質、コンテンツ保持の観点でどの程度優れているか？

主な発見

• PTOは、YelpおよびAmazonの両方のデータセットにおいて、BLEUスコア、流暢さ、コンテンツ保持の観点で、最近の手法を顕著に上回った。
• スタイルに依存しないコンテンツをほとんど変更しないように操作を集中させることで、より良いコンテンツ保持が達成された。
• 高レベルエージェントは意味のある操作位置を効果的に特定し、エンドツーエンドのseq2seq変換と比較して、より解釈可能で局所的な修正が可能となった。
• マスクベースの推論アルゴリズムにより、マルチステップの修正が可能であり、マルチステップの学習を必要としないため、学習の安定性が向上した。
• 操作ステップ数を調整することで、スタイルとコンテンツのトレードオフを制御可能であり、スタイル変換の制御性が実証された。
• 定性的な分析では、PTOは文法的に正しい出力を生成し、入力文の感情を正しく逆転させつつも、コアとなるコンテンツを保持していることが確認された（表7を参照）。