[論文レビュー] Style Transfer from Non-Parallel Text by Cross-Alignment

Tianxiao Shen, Tao Leí+2 more|arXiv (Cornell University)|May 26, 2017

Topic Modeling参考文献 25被引用数 353

ひとこと要約

本論文は、非並列テキストを用いたスタイル転送を実現するため、共有コンテンツ潜在空間を学習し、スタイル間の分布を整列させるクロスアライメントフレームワークを提案する。感情の変更、単語置換暗号の解読、語順回復の評価を行う。

ABSTRACT

This paper focuses on style transfer on the basis of non-parallel text. This is an instance of a broad family of problems including machine translation, decipherment, and sentiment modification. The key challenge is to separate the content from other aspects such as style. We assume a shared latent content distribution across different text corpora, and propose a method that leverages refined alignment of latent representations to perform style transfer. The transferred sentences from one style should match example sentences from the other style as a population. We demonstrate the effectiveness of this cross-alignment method on three tasks: sentiment modification, decipherment of word substitution ciphers, and recovery of word order.

研究の動機と目的

• 非並列でモノスタイルデータのみが利用可能な設定で、スタイル転送の動機づけを行う。
• コンテンツとスタイルを過度に変えずに分離する洗練されたクロスアライメント手法を提案する。
• 非並列データを用いて、感情の修正、単語置換の解読、語順回復という複数のタスクで有効性を示す。
• コンテンツ分布をスタイル間で整列させ、転用可能な写像を実現する条件を理論的・実践的に探る。

提案手法

• 文とそのスタイルをスタイルに依存しないコンテンツ表現 z に写像するエンコーダ E を導入する。
• 与えられたスタイル y と内容 z から x をデコードするスタイル依存の生成器 G を導入し、クロススタイル転送を可能にする。
• 二つの学習 variante を用いる：整列されたオートエンコーダ（z 分布をスタイル間で整列させる敵対的識別子を備える）と、クロスアラインドオートエンコーダ（他方のスタイルからの実サンプルと転送サンプルを二つの識別子で整列）。” ,

実験結果

リサーチクエスチョン

• RQ1 同じ内容分布を持つ非並列コーパスを用いて、スタイル間で潜在内容を整列させることでスタイル転送写像を学べるか。
• RQ2 潜在表現のクロスアラインメントは、感情変更、解読、語順タスク全般において内容保持とスタイル転送の質を向上させるか。
• RQ3 離散的な言語生成を扱い、明示的な p(z)-prior を持たずに分布を整列する実用的訓練戦略とは何か。

主な発見

• クロスアラインドオートエンコーダは、非クロスアラインドのベースラインより感情転送品質が高く、転送された文の感情転送精度は 78.4% と報告された。
• 整列されたオートエンコーダとクロスアラインドオートエンコーダは、非並列の解読タスクで大幅な改善を示し、置換と語順の課題において整列済みまたは VAE ベースラインより高い BLEU スコアを達成。
• 感情評価では、クロスアラインドオートエンコーダが総合転送スコア 41.5%、流暢さスコア 2.8 を人評価で達成し、特定設定ではベースラインコントロール生成モデルの 41.0% と比較。
• 感情分類では、Hu et al. (2017) の手法の pretrained 分類器が 83.5% の精度を報告する一方で、著者の設定ではクロスアラインドオートエンコーダが 78.4% の精度を達成。
• 解読実験では、クロスアラインドオートエンコーダは非クロスアラインドベースラインを複数の置換率（例: 20%–100%）で一貫して上回り、転送なしベースラインと比較して BLEU スコアが 100% の置換で 57.4、語順回復で 26.1 に達した。
• 結果は、クロスアラインが潜在 z の整列を強化し、様々な非並列スタイル転送タスクで転送品質を向上させることを示唆する。