[論文レビュー] VAE based Text Style Transfer with Pivot Words Enhancement Learning

Haoran Xu, Sixing Lu+3 more|arXiv (Cornell University)|Dec 6, 2021

Speech Recognition and Synthesis被引用数 5

ひとこと要約

本稿では、変分オートエンコーダーと外部のスタイル埋め込みを用いてコンテンツとスタイルの分布を同時に学習するVAEベースのテキストスタイル変換モデルVT-STOWERを提案する。また、スタイル変換の正確性を向上させるために、新しいピボット語マスキング機構を導入している。本手法は、学習可能な重みを用いて柔軟なスタイル強度制御が可能であり、センチメント、フォーマルリティ、コードスイッチングの各タスクにおいて最先端の性能を達成しており、特にヒンディ語・ヒンギッシュのコードスイッチングへのスタイル変換の応用が初めて実現された。

ABSTRACT

Text Style Transfer (TST) aims to alter the underlying style of the source text to another specific style while keeping the same content. Due to the scarcity of high-quality parallel training data, unsupervised learning has become a trending direction for TST tasks. In this paper, we propose a novel VAE based Text Style Transfer with pivOt Words Enhancement leaRning (VT-STOWER) method which utilizes Variational AutoEncoder (VAE) and external style embeddings to learn semantics and style distribution jointly. Additionally, we introduce pivot words learning, which is applied to learn decisive words for a specific style and thereby further improve the overall performance of the style transfer. The proposed VT-STOWER can be scaled to different TST scenarios given very limited and non-parallel training data with a novel and flexible style strength control mechanism. Experiments demonstrate that the VT-STOWER outperforms the state-of-the-art on sentiment, formality, and code-switching TST tasks.

研究の動機と目的

• 非並列で低リソースなテキストスタイル変換の課題に対処するため、変分オートエンコーダーと外部のスタイル埋め込みを用いた教師なし学習を活用する。
• BERTのアテンションヘッドから得られる重要度スコアを用いて、スタイル変換に決定的な影響を与える語を同定するピボット語マスキング機構を導入し、スタイル変換の正確性を向上させる。
• 潜在空間における調整可能なスタイル重みパラメータにより、スタイル強度を柔軟に制御可能にし、多様なTSTシナリオへの適応を可能にする。
• 統一されたフレームワークを用いて、特にヒンディ語・ヒンギッシュのコードスイッチングのような未だ十分に検討されていないコードスイッチングタスクへのテキストスタイル変換を拡張する。
• 特に、文の自然さを保ちながら高い変換正確性を達成するという点で、低リソースデータセットにおける汎化性と頑健性を示す。

提案手法

• VT-STOWERは二段階の訓練プロセスを採用する：まずコンテンツ再構成を目的としたVAEの事前学習を行い、その後スタイルに配慮した目的関数によるファインチューニングを行う。
• モデルは変分オートエンコーダーを用いて、コンテンツとスタイルの連続的かつ分離可能な潜在空間を学習し、滑らかな補間と生成を可能にする。
• 外部のスタイル埋め込みを用いてターゲットスタイルを表現することで、モデルが特定のスタイル属性に条件付けた生成を実現できる。
• ピボット語マスキング機構を導入し、BERTのアテンションヘッドから得られる重要度スコアを用いて、スタイルを決定づける語を同定し、学習を強化する。
• 潜在空間における学習可能な重み $ w $ を用いてスタイル強度を制御し、この重みが潜在ベクトル $ z' $ におけるターゲットスタイル埋め込みの寄与度を調整する。
• モデルは再構成損失、コンテンツ再構成損失、スタイル再構成損失を用いて訓練され、ピボット語スコアが訓練中のアテンションを誘導するために用いられる。

実験結果

リサーチクエスチョン

• RQ1 非並列データが最小限のテキストスタイル変換において、VAEベースのフレームワークがコンテンツとスタイルの分布を同時にモデル化できるか？
• RQ2 並列トレーニングペアに依存せずに、ピボット語マスキング機構がテキストスタイル変換の正確性と自然さをどのように向上させるか？
• RQ3 潜在空間における学習可能な重みパラメータを用いたスタイル強度の柔軟な制御は、どの程度可能か？
• RQ4 提案手法は、コードスイッチングのような低リソースで非並列なスタイル変換タスクにも一般化可能か？
• RQ5 最先端の手法と比較して、本モデルはセンチメントやフォーマルリティ変換といったベンチマークタスクでどの程度の性能を示すか？

主な発見

• VT-STOWERは、スタイル重みが2.5の状態でセンチメント変換タスクにおいて95.9%の変換正確性を達成し、先行手法を顕著に上回った。
• 高スタイル強度下でも、BLEUスコアが20.85、PPLが32.8を維持しており、正確性と自然さのバランスが取れていることが示された。
• コードスイッチング変換タスクでは、87.4%の正確性と15.6のBLEUスコアを達成し、ランダム置換ベースライン（1.02%の正確性）およびMUSEベースの翻訳手法を上回った。
• ピボット語マスキング機構により、スタイルに決定的な影響を与えるキーワード（例：センチメント変換では「comfortable and welcome」、フォーマルリティ変換では「ur」）に注目することで、変換正確性が向上した。
• 重要度スコアの分析から、モデルが非公式な代名詞やコードスイッチドコンテンツなど、スタイル的に重要度の高い語に適切に注目していることが確認された。
• 低リソース環境にも良好に一般化し、コードスイッチングデータセットがたった7,000文程度でも、強力な性能を発揮した。