[論文レビュー] Unpaired Sentiment-to-Sentiment Translation: A Cycled Reinforcement Learning Approach

Jingjing Xu, Xu Sun+5 more|arXiv (Cornell University)|May 14, 2018

Topic Modeling参考文献 12被引用数 58

ひとこと要約

本論文は、中和モジュールと情動化モジュールを備えた循環的強化学習フレームワークを提案し、非ペアデータ上での感情-感情翻訳を実行し、内容の保持性を最先端に、感情転送を競争力のあるレベルに達成する。

ABSTRACT

The goal of sentiment-to-sentiment "translation" is to change the underlying sentiment of a sentence while keeping its content. The main challenge is the lack of parallel data. To solve this problem, we propose a cycled reinforcement learning method that enables training on unpaired data by collaboration between a neutralization module and an emotionalization module. We evaluate our approach on two review datasets, Yelp and Amazon. Experimental results show that our approach significantly outperforms the state-of-the-art systems. Especially, the proposed method substantially improves the content preservation performance. The BLEU score is improved from 1.64 to 22.46 and from 0.56 to 14.06 on the two datasets, respectively.

研究の動機と目的

• 内容保持を伴うスタイル転換として感情-感情翻訳を動機づける。
• 並列データの欠如を克服するために循環型強化学習設定を提案する。
• 中和モジュールを介して感情と内容を明示的に分離し、翻訳品質を向上させる。
• 自己注意ベースの感情分類器でモジュールを事前学習して学習をブーストする。
• YelpおよびAmazonのレビュー データセットで優れた内容保持を示す。

提案手法

• 2モジュール構成: 情動語をフィルタリングして非感情的内容を抽出する中和モジュールと、中立内容へターゲット感情を注入する情動化モジュール。
• 双方のモジュールを教師あり目的で事前学習する; 中和を導くために自己注意ベースの感情分類器を用いる。
• 情動化はターゲット感情で条件づけられたテキストを生成する双方向デコーダ seq2seq フレームワークを使用。
• 循環強化学習: 情感精度とBLEUベースの内容保持からの報酬を用いてポリシー勾配で中和を訓練し、情動化の出力に導かれる。
• 報酬は感情信頼度とBLEUを調和平均で組み合わせて学習を導く (R = (1+β^2) * BLEU * Confid / (β^2 * BLEU + Confid)).
• 並列文ペアなしで訓練するために、感情ラベル付きのレビューなどの非ペアデータを活用する。

実験結果

リサーチクエスチョン

• RQ1 非ペアの感情データを用いて内容を保持しつつ感情-感情翻訳を実行できるか。
• RQ2 中和による感情と内容の明示的な分離は内容保持と全体的な翻訳品質を改善するか。
• RQ3 中和と情動化モジュールを共同訓練する際の循環型強化学習の効果はどれくらいか。
• RQ4 自己注意型感情分類器による事前学習が最終性能に与える影響は。
• RQ5 提案手法は Yelp および Amazon データセットで最先端のベースラインとどう比較されるか。

主な発見

データセット	ACC	BLEU	G-score
Yelp	80.00	22.46	42.38
Amazon	70.37	14.06	31.45

• ベースラインと比較して内容保持が大幅に改善（BLEUスコアが大幅に高い）。
• 自動評価は感情転送精度が競争力を持ち、内容保持も強い（YelpとAmazonでG-scoreが高い）。
• 人間による評価は提案手法がベースラインより意味的保存性が高いことを確認。
• 提案手法ではBLEUスコアが Yelp で 1.64 → 22.46、Amazon で 0.56 → 14.06 に改善。
• 提案手法は両データセットで評価されたシステムの中で総合的な最良性能（G-score）を達成。
• 中和モジュールは感情語を効果的にフィルタリングし、情動化モジュールがターゲット感情をより適切に付加できるようにする。