[論文レビュー] Parallel Data Augmentation for Formality Style Transfer

Yi Zhang, Tao Ge+1 more|arXiv (Cornell University)|May 14, 2020

Natural Language Processing Techniques参考文献 37被引用数 4

ひとこと要約

本稿では、フォーマルリズムスタイル変換（FST）のための新しいデータ拡張手法——形式的差別（F-Dis）、マルチタスク転送（M-Task）、バックトランスレーション——を提案し、合成平行データを活用することでモデル性能を顕著に向上させている。GYAFCベンチマークでこれらの拡張データを用いて事前学習を行うと、自動評価および人的評価の両面で最先端の結果が得られた。

ABSTRACT

The main barrier to progress in the task of Formality Style Transfer is the inadequacy of training data. In this paper, we study how to augment parallel data and propose novel and simple data augmentation methods for this task to obtain useful sentence pairs with easily accessible models and systems. Experiments demonstrate that our augmented parallel data largely helps improve formality style transfer when it is used to pre-train the model, leading to the state-of-the-art results in the GYAFC benchmark dataset.

研究の動機と目的

• フォーマルリズムスタイル変換（FST）における限られた平行訓練データという深刻なボトル neck を解決すること。現存するデータセット（例：GYAFC）には約10万対の文ペアしか含まれていない。
• アクセス可能なモデルやシステムを用いて、多様で高品質な合成平行文ペアを生成することで、データ不足を克服すること。
• 元の訓練データに存在しないフォーマルリズム転送の知識を組み込むことで、FSTにおけるモデルの一般化性能を向上させ、過学習を低減すること。
• 事前学習に拡張データを用いることで、GYAFCベンチマークで自動評価および人的評価の両方で、既存手法を上回る最先端の性能を達成すること。

提案手法

• バックトランスレーションを適用する。元の平行データ上でフォーマルからインフォーマルへのシーケンス・ツー・シーケンスモデルを学習し、それを用いてフォーマル入力から合成されたインフォーマル文を生成することで、新たな（インフォーマル、フォーマル）ペアを形成する。
• 形式的差別（F-Dis）を実装する。インフォーマル文をピボット言語（例：フランス語、ドイツ語、中国語）を介して翻訳し、訓練済みのCNNベースの形式的差別器を用いて、再翻訳文が顕著に形式的になっているペアをフィルタリングする。
• マルチタスク転送（M-Task）を用いる。既存の文法的誤り訂正（GEC）データセットを活用してFSTモデルの事前学習または微調整を行う。これは、インフォーマルテキストにおける不文法性とGECにおける是正パターンの類似性を利用している。
• 閾値付きの形式的スコア差を用いて拡張データを選別する：$(\bm{s}_i, \bm{s}_i') \in \mathcal{T}_{\text{aug}}$ である条件は $P_+(\bm{s}_i') - P_+(\bm{s}_i) \geq \sigma$ であり、$\sigma = 0.6$ とする。
• 元のデータと拡張データの組み合わせを用いて最終的なFSTモデルを事前学習し、より良い一般化性能と下流評価での性能向上を実現する。
• 自動評価指標（BLEU）と人的評価（形式的、流暢さ、意味保持）を用いてモデルを評価し、NMT-MTL や GPT-CAT などの強力なベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 限られた元の平行データがある中で、データ拡張技術がフォーマルリズムスタイル変換モデルの性能を顕著に向上させられるか？
• RQ2 形式的差別とマルチタスク転送は、元のデータに存在しないフォーマルリズム転送の知識を捉えた高品質な合成平行データを生成するのにどの程度有効か？
• RQ3 ピボット言語（例：フランス語、ドイツ語、中国語）の違いが、F-Dis手法におけるデータ品質と量にどのような影響を与えるか？
• RQ4 拡張データを用いた事前学習が、FSTにおける自動評価および人的評価指標の測定可能な向上をもたらすか？
• RQ5 提案手法は、形式的転送の質と流暢さの保持の観点から、既存の最先端モデルと比較してどの程度優れているか？

主な発見

• 提案されたデータ拡張手法（F-Dis、M-Task、バックトランスレーション）は、大規模で高品質な合成平行データを生成し、FSTの訓練信号を顕著に拡張している。
• 拡張データを用いた事前学習により、GYAFCベンチマークで最先端の性能が達成され、自動評価においてベースラインモデルおよび既存のSOTA手法を上回った。
• 人的評価では、提案モデルが形式的スコア1.45（p < 0.05）、流暢さ1.85（p < 0.05）、意味保持1.92（p < 0.05）を達成し、いずれも元のデータよりも顕著に優れていた。
• ピボット言語の観点から見ると、ドイツ語をピボットとするF-Disが最良のパフォーマンス（F&RでBLEU: 75.18）を示し、データ品質とサイズのバランスが取れていた。一方、中国語をピボットとするF-Disは最大のデータセット（68万ペア）を生成したが、分離の曖昧さによるノイズが高かった。
• F-Disにドイツ語をピボットとして用いた場合、E&MセットでBLEUスコア74.52、F&Rセットで75.18を達成し、元のデータ（それぞれ69.44および74.19）を上回った。
• データ拡張と事前学習の組み合わせにより、モデルの一般化性能が向上し、アーキテクチャの変更なしに過学習が低減され、スタイル変換におけるロバスト性が向上した。