[論文レビュー] Domain Adaptive Text Style Transfer

Dianqi Li, Yizhe Zhang+5 more|arXiv (Cornell University)|Aug 25, 2019

Music and Audio Processing参考文献 39被引用数 10

ひとこと要約

本稿では、低リソースなターゲットドメインにおけるテキストスタイル変換の性能を向上させるために、大規模なソースドメインデータを活用するドメイン適応型テキストスタイル変換（DAST）を提案する。ドメイン固有のスタイルと一般化されたコンテンツを、学習可能なドメインベクトルとドメイン固有のスタイル分類器を用いて分離することで、DASTは、ターゲットドメインデータが1%未塔でさえも、コンテンツの保持とスタイル変換の正確性に優れた性能を達成し、感情やフォーマルリティの変換タスクにおいてベースラインを上回る。

ABSTRACT

Text style transfer without parallel data has achieved some practical success. However, in the scenario where less data is available, these methods may yield poor performance. In this paper, we examine domain adaptation for text style transfer to leverage massively available data from other domains. These data may demonstrate domain shift, which impedes the benefits of utilizing such data for training. To address this challenge, we propose simple yet effective domain adaptive text style transfer models, enabling domain-adaptive information exchange. The proposed models presumably learn from the source domain to: (i) distinguish stylized information and generic content information; (ii) maximally preserve content information; and (iii) adaptively transfer the styles in a domain-aware manner. We evaluate the proposed models on two style transfer tasks (sentiment and formality) over multiple target domains where only limited non-parallel data is available. Extensive experiments demonstrate the effectiveness of the proposed model compared to the baselines.

研究の動機と目的

• ソースドメインとは分布が異なるが関連するターゲットドメインのデータが乏しい状況において、テキストスタイル変換の性能が著しく低下するという課題に対処すること。
• 関連するが異なるソースドメインから得られる大量で非並列のデータを活用することで、低リソースなターゲットドメインにおいて効果的なスタイル変換を可能にすること。
• 一般化されたコンテンツ情報をドメイン固有のスタイル特徴から分離することで、コンテンツを保持しつつターゲットドメインの語彙的パターンに適応すること。
• データが乏しい状況下でも高いスタイル変換の正確性とコンテンツの忠実度を維持できる、ドメイン適応型の情報交換を実現するモデルの設計

提案手法

• 変分オートエンコーダーの枠組みを用い、コンテンツとスタイルの潜在空間を別々に定義することで、一般化されたコンテンツとドメイン固有のスタイルを分離する。
• 生成プロセスをターゲットドメインに条件づけるための学習可能なドメインベクトルを導入し、ドメインに適応したスタイル変換を可能にする。
• ドメイン固有のスタイル分類器を用いて、各ドメインごとの特徴的なスタイルパターンを学習するのを支援し、スタイル制御を向上させる。
• 自己符号化損失、スタイル変換損失、ドメイン固有のスタイル分類損失を組み合わせた訓練目的関数を用い、コンテンツの保持とドメイン適応を同時に最適化する。
• 並列ソースデータ（例：GYAFC）が利用可能な設定では、ソースドメインに対して追加のシーケンス・ツー・シーケンス損失を適用し、スタイル変換の監視を強化する。
• モデルは、ソースドメインデータ（一般化されたコンテンツ知識）とターゲットドメインデータ（スタイルとドメイン固有の監視）を用いて、エンド・ツー・エンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 大規模なソースドメインデータを活用することで、低リソースなターゲットドメインにおけるテキストスタイル変換の性能が向上するか？
• RQ2 ドメインのズレが存在する状況で、一般化されたコンテンツとドメイン固有のスタイルを効果的に分離するにはどうすればよいか？
• RQ3 データが乏しい状況下でも、高いコンテンツ保持とスタイル変換の正確性を維持するために、どのような要素が不可欠か？
• RQ4 ターゲットドメインに並列データが存在しない状況でも、ドメイン適応型の情報交換を達成できるか？

主な発見

• Yelpの感情変換タスクにおいて、DASTはターゲットデータの0.1%（400サンプル）のみを用いてもGスコア4.8を達成し、ベースラインおよび微調整モデルを著しく上回った。
• Enronのフォーマルリティ変換タスクにおいて、非並列のターゲットデータを用いても、DASTはドメイン正確性88.4%とスタイル正確性91.6%を維持した。
• アブレーションスタディの結果、ドメインベクトルがドメイン正確性に最も寄与しており、ドメイン固有のスタイル分類器がスタイル制御とコンテンツ保持に不可欠であることが示された。
• 微調整よりもDASTは、コンテンツ保持（Gスコアがより高い）とスタイル制御（S-accがより高い）の両面で優れており、深刻な忘却を回避した。
• GYAFCのような並列ソースデータが利用可能な状況では、DASTはEnronのフォーマルリティタスクで人間の好みスコア81.2を達成し、次に優れた手法を著しく上回った。
• ターゲットデータがたった400件（0.1%）の状況でも、DASTは一貫性のあるスタイルを持つ意味のある文を生成したが、ターゲットドメイン専用のベースラインは無意味な出力を生成した。