[論文レビュー] Stable Style Transformer: Delete and Generate Approach with Encoder-Decoder for Text Style Transfer

Joosung Lee|arXiv (Cornell University)|May 25, 2020

Natural Language Processing Techniques被引用数 8

ひとこと要約

本稿では、安定した性能を示すテキストスタイル変換手法であるStable Style Transformer (SST)を提案する。SSTは2段階のアプローチを採用しており、まず分類器ベースのアプローチでスタイル依存の属性マーカーを削除し、次にTransformerエンコーダデコーダを用いてスタイル変換された文を生成する。この手法は、コンテンツ、文の流れ、スタイルの正確性、意味的類似性の全自動評価指標で安定した性能を達成しており、人間評価でも不安定なベースラインを上回っている。したがって、実世界の導入に適している。

ABSTRACT

Text style transfer is the task that generates a sentence by preserving the content of the input sentence and transferring the style. Most existing studies are progressing on non-parallel datasets because parallel datasets are limited and hard to construct. In this work, we introduce a method that follows two stages in non-parallel datasets. The first stage is to delete attribute markers of a sentence directly through a classifier. The second stage is to generate a transferred sentence by combining the content tokens and the target style. We experiment on two benchmark datasets and evaluate context, style, fluency, and semantic. It is difficult to select the best system using only these automatic metrics, but it is possible to select stable systems. We consider only robust systems in all automatic evaluation metrics to be the minimum conditions that can be used in real applications. Many previous systems are difficult to use in certain situations because performance is significantly lower in several evaluation metrics. However, our system is stable in all automatic evaluation metrics and has results comparable to other models. Also, we compare the performance results of our system and the unstable system through human evaluation. Our code and data are available at the link (https://github.com/rungjoo/Stable-Style-Transformer).

研究の動機と目的

• 既存のテキストスタイル変換モデルが自動評価指標で不安定である問題に対処すること。
• 敵対的学習や分離された潜在表現に依存せずに、スタイルとコンテンツを分離する手法を開発すること。
• 分類器の確率シフトを用いて、直感的かつモデルに依存しない属性マーカーの削除を可能にすること。
• 複数の評価指標にわたる安定した性能を確保することで、実世界応用に適したシステムを実現すること。
• 生成された文におけるスタイル制御の向上を図るため、潜在空間ウォークの検討を行うこと。

提案手法

• 2段階フレームワーク：まず事前学習済み分類器が、トークンをマスクした際の予測確率の顕著な変化に基づいてスタイル属性マーカーを同定・削除する。
• この手法はモデルに依存せず、注意重みや頻度に基づくヒューリスティクスを必要としない。
• 削除された文からのコンテンツトークンと、ターゲットスタイル埋め込みを組み合わせ、Transformerベースのエンコーダデコーダを用いてスタイル変換文を生成する。
• コンテンツ保持の劣化を防ぎつつスタイル転送の正確性を向上させるために、スタイル損失を用いてモデルを訓練する。
• ハイパーパrameter α と β がコンテンツ保持とスタイル転送のトレードオフを制御し、調整可能な性能を実現する。
• スタイルベクトルの補間を用いて潜在空間ウォークを検討し、中間的スタイル属性を持つ文の生成を試みる。

実験結果

リサーチクエスチョン

• RQ1 敵対的学習や分離された潜在表現に依存しない非敵対的・非分離的アプローチが、テキストスタイル変換において複数の自動評価指標で安定した性能を達成できるか？
• RQ2 頻度ベースや注意重みに基づく手法と比較して、分類器ベースの属性マーカー削除法は、安定性と制御性においてどのように異なるか？
• RQ3 スタイルベクトル空間における潜在空間補間によって、どの程度スタイル制御を向上させられるか？
• RQ4 ハイパーパrameter α と β がコンテンツ保持とスタイル転送のトレードオフにどのように影響するか？
• RQ5 安定した自動評価結果は、テキストスタイル変換における人間の好みを信頼性高く予測できるか？

主な発見

• SSTはYelpデータセットにおいて、コンテンツ（G-BLEU: 19.11）、文の流れ（t-PPL: 306.65）、スタイルの正確性（82.2%）、意味的類似性（BERTscore: 89.96）の全自動評価指標で安定した性能を達成した。
• スタイル損失の導入により、スタイルの正確性が4ポイント向上し、データの流れも改善されたが、G-BLEUはわずかに低下した。これは最適化におけるトレードオフを示している。
• 人間評価では、SSTが不安定なベースラインよりも信頼性が高く、複数の指標にわたる一貫性ある好みが得られた。
• SSTの性能はYelpおよびAmazonの両データセットで安定しており、異なるドメインやスタイル転送方向への一般化能力を示している。
• 潜在空間ウォークの結果、スタイルベクトルの補間により中間的スタイルの文を生成できたが、必ずしも中立的ではないことが示され、ベクトル空間の整合性向上に余地があることがわかった。
• 分類器ベースの削除法により、事前定義された辞書や注意メカニズムを必要とせず、直感的かつモデルに依存しない属性マーカー同定が可能になった。