[論文レビュー] Structured Content Preservation for Unsupervised Text Style Transfer

Youzhi Tian, Zhiting Hu+1 more|arXiv (Cornell University)|Oct 15, 2018

Natural Language Processing Techniques被引用数 29

ひとこと要約

本稿では、品詞（POS）タグ、特に名詞に制約を課すことでコンテンツの忠実度を向上させる、非教師ありテキストスタイル転送のための構造的コンテンツ保存型生成モデルを提案する。コンテンツに条件づけられた言語モデルを統合することで、性能が向上している。本手法は、センチメントおよび政治的傾向の転送において、コンテンツ保持とスタイル転送の正確性の両面で、先行モデルを著しく上回る最先端の性能を達成している。

ABSTRACT

Text style transfer aims to modify the style of a sentence while keeping its content unchanged. Recent style transfer systems often fail to faithfully preserve the content after changing the style. This paper proposes a structured content preserving model that leverages linguistic information in the structured fine-grained supervisions to better preserve the style-independent content during style transfer. In particular, we achieve the goal by devising rich model objectives based on both the sentence's lexical information and a language model that conditions on content. The resulting model therefore is encouraged to retain the semantic meaning of the target sentences. We perform extensive experiments that compare our model to other existing approaches in the tasks of sentiment and political slant transfer. Our model achieves significant improvement in terms of both content preservation and style transfer in automatic and human evaluation.

研究の動機と目的

• スタイルとコンテンツが深く混ざり合った状態で、非教師ありテキストスタイル転送においてコンテンツの劣化が生じるという課題に対処すること。
• 特に名詞のような品詞（POS）タグに注目した、構造的な言語的監視を組み込むことで、スタイル転送におけるコンテンツ保持を向上させること。
• コンテンツ表現とスタイル埋め込みの両方に条件づけられた言語モデルを用いることで、生成のなめらかさとコンテンツの忠実度を向上させること。
• 内容保持の度合いを定量化するための新しいPOS距離指標を含む、包括的な評価フレームワークを構築すること。
• センチメントや政治的傾向転送を含む多様なスタイル転送タスクに、本モデルの有効性を示すこと。

提案手法

• アテンション型オートエンコーダ（AE）とバイナリスタイル分類器を用いて、スタイル変換済みの文を生成する。
• 入力文と生成文の品詞（POS）タグ（特に名詞）の間の距離を最小化するPOSベースの制約を導入する。
• 名詞のコンテンツとスタイル表現の両方に条件づけられた言語モデルを用い、自然な表現とコンテンツ保持の両方を向上させる。
• オートエンコーダの再構成、スタイル分類、POS類似度、言語モデルの尤度といった複数の目的を統合し、コンテンツとスタイルの両方を同時に最適化する。
• スタイルディスクライマーを用いた adversarial 訓練により、コンテンツ表現からスタイルを分離する。
• 離散的トークンの微分不能性のため、REINFORCE や類似の強化学習手法を生成器の最適化に用いる。

実験結果

リサーチクエスチョン

• RQ1 名詞のような品詞タグの一貫性といった、構造的な言語的監視は、非教師ありテキストスタイル転送におけるコンテンツ保持を顕著に向上させるか？
• RQ2 コンテンツに条件づけられた言語モデルとPOS制約を組み合わせることで、生成文のなめらかさと意味的忠実度にどのような影響を与えるか？
• RQ3 提案手法は、自動評価および人的評価の両面で、既存の非教師ありスタイル転送手法をどの程度上回るか？
• RQ4 本モデルは、センチメントや政治的傾向転送を含む多様なスタイル転送タスクに一般化可能か？
• RQ5 新しいPOS距離指標は、テキストスタイル転送におけるコンテンツ保持の信頼できる代理指標として機能するか？

主な発見

• センチメント転送タスクにおいて、本モデルはスタイル分類器の正確度が92.4%に達し、Prabhumoyeら（86.5%）およびHuら（90.7%）を上回った。
• センチメントデータセットにおいて、本モデルはBLEUスコア56.6を達成し、Prabhumoyeら（7.38）およびHuら（47.5）を著しく上回った。
• POS距離指標は2.837にまで低下し、Prabhumoyeら（7.298）およびHuら（3.524）と比較して、優れたコンテンツ保持を示した。
• 政治的傾向転送タスクにおいても、政治家などの固有名詞の影響があるにもかかわらず、BLEUスコア56.6を維持し、低コストのPOS距離を達成した。
• 人的評価では、本モデルが先行手法よりもコンテンツをよりよく保持し、スタイルをより正確に転送していることが確認された。
• 否定の二重構造や節の欠落といった、微妙なセンチメントや複雑な文法構造を含む文では、本モデルの性能が劣化する傾向にあり、微細な言語現象の処理における限界が示された。