[論文レビュー] Style Transfer as Unsupervised Machine Translation

Zhirui Zhang, Shuo Ren+6 more|arXiv (Cornell University)|Aug 23, 2018

Natural Language Processing Techniques参考文献 30被引用数 114

ひとこと要約

本論文はスタイル転送を教師なし機械翻訳の問題として再定義し、語彙レベルのスタイル対応表を構築し、SMTベースの転送システムを構築し、並列データなしでスタイル精度と内容保持を向上させるためにスタイル分類器を組み込んだ反復的に訓練されたNMTモデルを用いる。

ABSTRACT

Language style transferring rephrases text with specific stylistic attributes while preserving the original attribute-independent content. One main challenge in learning a style transfer system is a lack of parallel data where the source sentence is in one style and the target sentence in another style. With this constraint, in this paper, we adapt unsupervised machine translation methods for the task of automatic style transfer. We first take advantage of style-preference information and word embedding similarity to produce pseudo-parallel data with a statistical machine translation (SMT) framework. Then the iterative back-translation approach is employed to jointly train two neural machine translation (NMT) based transfer systems. To control the noise generated during joint training, a style classifier is introduced to guarantee the accuracy of style transfer and penalize bad candidates in the generated pseudo data. Experiments on benchmark datasets show that our proposed method outperforms previous state-of-the-art models in terms of both accuracy of style transfer and quality of input-output correspondence.

研究の動機と目的

• 並列データなしの教師なし学習を活用するため、スタイル転送を翻訳タスクとして動機づける。
• 2段階の訓練パイプラインを開発する。 (1) 語彙レベルの転送表の構築とSMTベースのシステム、(2) 反復バック翻訳を用いた双方向NMT。
• 訓練中のノイズを制御し転送精度を保証するためにスタイル分類器を組み込む。
• ベンチマークデータセットで従来の最先端手法よりもスタイル転送精度と内容保持を改善できることを示す。

提案手法

• 語彙埋込みの類似度とスタイル好みシグナルを用いて、語彙レベルのスタイル転送表 P_{s→t}(y_w|x_w) を構築する。
• 転送表とスタイル特異的言語モデルを用いて双方向SMT転送システムを構築し、疑似並列データを生成する。
• 疑似データから双方向NMTベースの転送モデルを初期化し、反復バック翻訳で訓練する。
• 高スタイル精度の出力を報いる外部スタイル分類器を導入し、バック翻訳最適化中の不適切な疑似データを罰する。
• 訓練目的を前方・後方尤度下界と分類器ベースの報酬項の組み合わせとして形式化する。
• 期待値を近似するためにビーム探索を用い、訓練のためにトップ-kの翻訳をサンプリングする（Algorithm 1）。

実験結果

リサーチクエスチョン

• RQ1 同一言語の非並列コーパスを活用して、並列データなしで効果的なスタイル転送を学習できるか？
• RQ2 語彙レベルの転送と反復バック翻訳を組み合わせた2段階アプローチは、純粋なオートエンコーダーやリトリーブベースの手法より改善されるか？
• RQ3 バック翻訳ベースの訓練の安定性と品質に、スタイル分類器を追加する影響はどうか？
• RQ4 提案手法は、Yelp/Amazonの感情や、キャプションの恋愛的/ユーモラスなどの異なるスタイル転送タスクで、ベースラインと比較してどのように機能するか？

主な発見

• 提案手法は、Yelp、Amazon、Captionsデータセット全体でスタイル転送精度と内容保持の最先端ベースラインを上回る。
• 語彙レベルの転送表とスタイル特異的言語モデルを組み合わせることで、初期のSMTベース転送を効果的に実現し、その後のNMTベース訓練を導く。
• スタイル分類器を用いた反復バック翻訳は、双方向モデル間の相互改善をもたらし、訓練を安定化させる。
• 人間評価と自動評価の両方で、提案手法はCrossAligned、MultiDecoder、StyleEmbedding、TemplateBased、Del-Retr-Genよりもスタイル転送精度と入力-出力品質が高いことを示す。
• スタイル分類器は重要であり、除去すると転送精度と全体的な性能が低下する。
• 分析では、SMT段階が強力な初期の疑似データを提供し、反復的なNMTとバック翻訳が内容の忠実度と流暢さを最適化することを示している。