[論文レビュー] Evaluating Style Transfer for Text

Remi Mir, Bjarke Felbo+2 more|arXiv (Cornell University)|Apr 4, 2019

Topic Modeling参考文献 24被引用数 6

ひとこと要約

本稿では、スタイル転送の強度、コンテンツの保持、自然さを評価するため、人間評価と自動評価指標を組み合わせた標準化された評価フレームワークを提案する。方向補正付きエアス・モーバー距離（EMD）、スタイルマスク付きワード・モーバー距離、敵対的分類器を導入し、従来の手法よりも人間の判断と強い相関を示し、モデル間の重要なトレードオフを明らかにした。

ABSTRACT

Research in the area of style transfer for text is currently bottlenecked by a lack of standard evaluation practices. This paper aims to alleviate this issue by experimentally identifying best practices with a Yelp sentiment dataset. We specify three aspects of interest (style transfer intensity, content preservation, and naturalness) and show how to obtain more reliable measures of them from human evaluation than in previous work. We propose a set of metrics for automated evaluation and demonstrate that they are more strongly correlated and in agreement with human judgment: direction-corrected Earth Mover's Distance, Word Mover's Distance on style-masked texts, and adversarial classification for the respective aspects. We also show that the three examined models exhibit tradeoffs between aspects of interest, demonstrating the importance of evaluating style transfer models at specific points of their tradeoff plots. We release software with our evaluation metrics to facilitate research.

研究の動機と目的

• テキストスタイル転送研究における標準化された評価手法の欠如に対処すること。
• スタイル転送の強度、コンテンツの保持、自然さの評価において、より信頼性の高い人間評価手法を同定すること。
• 人間の判断と強い相関を示す自動評価指標を開発すること。
• 異なるスタイル転送モデル間で、評価の側面（スタイル転送の強度、コンテンツの保持、自然さ）の間で生じるトレードオフを示すこと。
• 提案された評価指標を実装したオープンソースソフトウェアを公開すること。

提案手法

• Yelpのセンチメントデータセットを用いて、3つのスタイル転送モデル（CAAE、ARAE、DAR）を評価する。
• スタイル語を特定・マスクするための保守的スタイル語彙を導入し、評価におけるコンテンツ語の汚染を低減する。
• 入力文と出力文の両方を用いた相対的自然さスコアリングを採用し、評価者間の一貫性を向上させる。
• 方向性に応じたペナルティを課すことで、スタイル転送の強度を測る方向補正付きエアス・モーバー距離（EMD）を提案する。
• スタイル語をマスクしたテキストに対してワード・モーバー距離を適用し、単一のリファレンス設定におけるBLEUの限界を回避してコンテンツ保持を評価する。
• 敵対的分類器を用いて自然さの自動評価を実施し、人間による相対的スコアリングと強い一致を示した。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、スタイル転送の評価における人間評価の信頼性と一貫性を研究間で向上させられるか？
• RQ2 スタイル転送評価において、人間の判断と最も相関の高い自動評価指標は何か？
• RQ3 異なるスタイル転送モデルは、スタイル転送の強度、コンテンツ保持、自然さの間で、どの程度トレードオフを示すか？
• RQ4 自動評価指標は、高コストな人間評価を代替または補完できるか？
• RQ5 評価指標は、異なるスタイル転送モデルやハイパーパrameter設定において、どのように性能を示すか？

主な発見

• 方向補正付きエアス・モーバー距離は、従来の分類器ベースの手法よりも、スタイル転送の強度に関する人間の判断と強い相関を示した。
• スタイル語をマスクしたテキストに対するワード・モーバー距離は、単一リファレンス対応性と意味的感度の両面でBLEUを上回り、コンテンツ保持の測定において優れた性能を示した。
• 自然さの評価に用いた敵対的分類器は、人間による相対的スコアリングと強い一致を示し、自動評価における有効性が裏付けられた。
• 評価された3つのモデル（CAAE、ARAE、DAR）は、3つの評価側面の間で顕著なトレードオフを示しており、多面的評価の必要性が浮き彫りになった。
• モデルの性能はハイパーパrameterの設定によっても変動し、トレードオフプロットにおける交差点は、特定の設定でモデル間で同等の性能を示す可能性を示した。
• 提案された評価フレームワーク（スタイル語彙と相対的スコアリングを含む）は、評価者間の一貫性を向上させ、人間評価におけるノイズを低減した。