[論文レビュー] Learning Criteria and Evaluation Metrics for Textual Transfer between Non-Parallel Corpora.

Yuanzhe Pang, Kevin Gimpel|arXiv (Cornell University)|Oct 28, 2018

Natural Language Processing Techniques参考文献 32被引用数 4

ひとこと要約

本稿では、並列データなしのテキスト転送のためのマルチメトリック評価フレームワークとそれに応じた損失関数を提案する。主な目的は、意味的保存性、スムーズさ、分類精度の向上である。内容保持のためのサイクル整合性とパラフレーズベースの損失関数、スムーズさのためのスタイル固有言語モデルを統合することで、自動評価および人的評価の両面で先行研究を大幅に上回る結果が得られた。

ABSTRACT

We consider the problem of automatically generating textual paraphrases with modified attributes or stylistic properties, focusing on the setting without parallel data (Hu et al., 2017; Shen et al., 2017). This setting poses challenges for learning and evaluation. We show that the metric of post-transfer classification accuracy is insufficient on its own, and propose additional metrics based on semantic content preservation and fluency. For reliable evaluation, all three metric categories must be taken into account. We contribute new loss functions and training strategies to address the new metrics. Semantic preservation is addressed by adding a cyclic consistency loss and a loss based on paraphrase pairs, while fluency is improved by integrating losses based on style-specific language models. Automatic and manual evaluation show large improvements over the baseline method of Shen et al. (2017). Our hope is that these losses and metrics can be general and useful tools for a range of textual transfer settings without parallel corpora.

研究の動機と目的

• 並列コーパスが存在しない場合のテキスト転送システムに対する信頼性の高い評価指標の欠如に対処すること。
• 並列データが利用できない状況下で、生成されたパラフレーズの意味的コンテンツ保存性とスムーズさを向上させること。
• 提案された評価指標と整合する訓練戦略の開発。
• 多様なテキスト転送設定に一般化可能な損失関数と評価ツールの提供。

提案手法

• 属性転送中に意味的保存性を強制するために、サイクル整合性損失を導入。
• さらに内容保持性を強化するために、パラフレーズペアベースの損失関数を採用。
• 生成テキストのスムーズさを向上させるために、スタイル固有の言語モデルを統合。
• これらの損失関数を、転送後の分類精度を目的関数とするものと組み合わせ、エンドツーエンドの訓練を実現。
• 意味的忠実度、スムーズさ、転送正確性の3つを同時に最適化する訓練戦略を設計。
• 自動評価と人的評価の両方を用いて、すべての指標カテゴリにおける性能を検証。

実験結果

リサーチクエスチョン

• RQ1 並列データが存在しない状況で、テキスト転送システムを信頼性を持って評価する方法は何か？
• RQ2 分類精度のような既存の指標が、意味的忠実度とスムーズさをどれだけ的確に捉えているか？
• RQ3 追加の損失関数が、ゼロショットテキスト転送における意味的保存性とスムーズさの向上に寄与するか？
• RQ4 提案された指標と損失関数は、自動評価および人的評価の両方でベースライン手法と比較してどのように優れているか？

主な発見

• 意味的保存性、スムーズさ、分類正確性を統合した提案された評価フレームワークは、正確性のみに依存するものよりも包括的な評価を可能にする。
• サイクル整合性損失とパラフレーズベース損失の統合により、意味的コンテンツ保存性が顕著に向上した。
• スタイル固有言語モデルの損失関数を適用することで、よりスムーズな生成テキストが得られた。
• 自動評価では、Shenら（2017）のベースライン手法に比べて測定可能な改善が確認された。
• 人的評価では、すべての3つの指標次元において、生成されたパラフレーズの品質が上回った。