[論文レビュー] Deep Learning for Text Style Transfer: A Survey

Di Jin, Zhijing Jin+3 more|arXiv (Cornell University)|Nov 1, 2020

Topic Modeling参考文献 244被引用数 17

ひとこと要約

本サーベイは、2017年以降の深層学習を用いたテキストスタイル転送（TST）手法について包括的な概要を提供する。タスク定式化、データセット、評価、並行データおよび非並行データを用いた手法をカバーする。分散化、プロトタイプ編集、偽並行データ構築の3つのアプローチを体系的に分類し、それぞれの長所と短所を強調するとともに、NLP分野における倫理的影響と今後の研究方向性を議論する。

ABSTRACT

Text style transfer is an important task in natural language generation, which aims to control certain attributes in the generated text, such as politeness, emotion, humor, and many others. It has a long history in the field of natural language processing, and recently has re-gained significant attention thanks to the promising performance brought by deep neural models. In this paper, we present a systematic survey of the research on neural text style transfer, spanning over 100 representative articles since the first neural text style transfer work in 2017. We discuss the task formulation, existing datasets and subtasks, evaluation, as well as the rich methodologies in the presence of parallel and non-parallel data. We also provide discussions on a variety of important topics regarding the future development of this task. Our curated paper list is at https://github.com/zhijing-jin/Text_Style_Transfer_Survey

研究の動機と目的

• 2017年以降のニューラルテキストスタイル転送（TST）手法を統一的かつ体系的にレビューすること。
• 多様なTST研究における用語の標準化、タスク定義、評価手法の標準化。
• 並行データおよび非並行データ設定下でのTSTの手法を分析・比較すること。
• TSTにおける主な課題と今後の研究方向性（倫理的懸念を含む）を特定すること。
• TSTが対話システム、要約、テキストのバイアス除去などの下流NLPタスクにどのように寄与できるかを検討すること。

提案手法

• TSTを並行データ設定と非並行データ設定に分類し、それぞれに特化した手法的戦略を提示する。
• 潜在空間におけるコンテンツとスタイルの分離に注目した分散化ベースの手法（例：VAE、敵対的訓練）をレビューする。
• 文のテンプレートと属性マーカーを用いて制御生成を実現するプロトタイプ編集手法を検討する。
• 実際の並行データが存在しない状況でも教師あり学習を可能にするための偽並行コーパス構築技術を分析する。
• TransformerベースのモデルがTSTタスク全体のパフォーマンス向上に果たす役割を議論する。
• 耐性向上と制御性向上を目的としたマルチタスク学習、データ拡張、推論技術の概要を提示する。

実験結果

リサーチクエスチョン

• RQ1 テキストスタイル転送において、スタイルとコンテンツはどのように形式的に定義され、分離されるのか？
• RQ2 TSTにおける支配的であるメソドロジー的パラダイムは何か。それぞれのパフォーマンスと一般化性能にどのような差があるか？
• RQ3 TSTのサブタスクや設定ごとに、評価指標やベンチマークデータセットはどのように異なるか？
• RQ4 TSTにはどのような倫理的リスクが伴うのか。特に感情や政治的バイアスの転送においては？
• RQ5 TSTは、キャラクターに基づく対話システムやテキストのバイアス除去といった下流NLPタスクにどのように応用できるか？

主な発見

• 本サーベイは、非並行TSTにおける3つの主要なパラダイムを特定した。すなわち、分散化、プロトタイプ編集、偽並行データ構築であり、それぞれに明確な強みがある。
• 分散化手法は優れたスタイル制御を達成するが、コンテンツの保持や文の自然さの維持に課題を抱えることが多い。
• プロトタイプ編集は最小限のコンテンツ変更で高いスタイル制御が可能であるが、テンプレート設計に細心の注意が必要であり、一般化性に欠ける。
• 偽並行データ構築は、実際の並行データが存在しない状況でも教師あり学習が可能となり、リソースが限られた環境でのパフォーマンス向上に寄与する。
• 感情や政治的バイアスの転送においては倫理的懸念が顕著であり、レビューマニピュレーションやプロパガンダに悪用される可能性がある。
• TSTは、バイアス除去、ライティングアシスタンス、パーソナに一貫性のある対話システムといった応用分野において大きな可能性を秘めているが、倫理的監視を徹底する必要がある。