[論文レビュー] Thank you BART! Rewarding Pre-Trained Models Improves Formality Style Transfer

Huiyuan Lai, Antonio Toral+1 more|arXiv (Cornell University)|May 14, 2021

Topic Modeling参考文献 26被引用数 6

ひとこと要約

本稿では、事前学習モデル（GPT-2およびBART）を用いた形式的スタイル変換のための報酬拡張微調整フレームワークを提案する。スタイル分類とBLEUベースの報酬を統合することで、スタイル変換の正確性とコンテンツの保持性の両方を向上させる。最先端の結果を達成しており、並列データの10%での微調整が、100%のデータで訓練を開始するのを上回ることを示しており、データ依存性を顕著に低減している。

ABSTRACT

Scarcity of parallel data causes formality style transfer models to have scarce success in preserving content. We show that fine-tuning pre-trained language (GPT-2) and sequence-to-sequence (BART) models boosts content preservation, and that this is possible even with limited amounts of parallel data. Augmenting these models with rewards that target style and content -- the two core aspects of the task -- we achieve a new state-of-the-art.

研究の動機と目的

• 並列データが限られる状況でもコンテンツの保持を維持するという挑戦に取り組むこと。
• 限定的な並列データで微調整された事前学習モデルが、コンテンツ保持性およびスタイル変換性能を向上させられるかどうかを調査すること。
• スタイル分類とBLEUベースの報酬を組み合わせることで、スタイルの強度とコンテンツの忠実度がどのように向上するかを評価すること。
• 並列データの10%での微調整が、100%のデータで訓練を開始するのを上回ることを実証すること。
• 大規模な並列データへの依存を低減し、分野や言語を越えて監視付きスタイル変換を広く適用可能にする。

提案手法

• 入力と出力を構造化するための特別トークン [BOS]、[SEP]、[EOS] を用いた、序列方向のフレームワークで、GPT-2およびBARTモデルを形式的スタイル変換の並列コーパス上で微調整する。
• 2つの報酬信号を導入する：事前学習済みのTextCNN分類器に基づくスタイル分類報酬（ターゲットスタイル予測の信頼性を高める）、およびコンテンツ保持性を向上させるBLEUスコア報酬。
• 強化学習を用いて最適化する。組み合わせ報酬関数は R_total = λ_cls × R_cls + λ_bleu × R_bleu で表され、R_cls はスタイルの信頼性のシフトを測定し、R_bleu は出力と参照出力とのn-gram一致度を測定する。
• 固定されたパラメータを用いてスタイル分類器を微調整中に維持することで、学習の安定性を確保しながら、双報酬目的関数に従ってモデルをエンドツーエンドで訓練する。
• モデルのスケールとアーキテクチャの違いを評価するため、BART large および GPT-2 base モデルを用いる。
• 多様で高品質な出力を生成するために、ビームサーチと温度サンプリングを用いて推論を実行する。

実験結果

リサーチクエスチョン

• RQ1 GPT-2 や BART といった事前学習言語モデルが、限定的な並列データで微調整された場合に、形式的スタイル変換におけるコンテンツ保持性を向上させられるか。
• RQ2 スタイルとコンテンツに特化した報酬を統合することで、単独で報酬を使用するか報酬なしの状況よりも性能が向上するか。
• RQ3 並列データの10%での微調整が、100%のデータで訓練を開始するのを上回るか。
• RQ4 事前学習モデルはスタイルとコンテンツをどれほど明確に分離できるか、それぞれが最終的な出力品質に果たす役割は何か。
• RQ5 提案手法が、監視付きスタイル変換における大規模な並列データへの依存度をどの程度低減できるか。

主な発見

• BART large にスタイルとコンテンツの両方の報酬を適用したモデルは、E&Mドメインで最高のスタイル信頼性（ACC = 0.825）とBLEUスコア（0.800）を達成し、すべてのベースラインを上回った。
• BART large + SC & BLEU モデルは、BLEUスコア0.800、スタイル信頼性0.825を達成し、OpenNMT や GPT-2 の変種を著しく上回った。
• 並列データの10%での微調整は、100%のデータで訓練を開始するのと比較して、より優れたコンテンツ保持性（BLEU: 0.657）とスタイル信頼性（0.657）を達成した。
• スタイル分類とBLEU報酬の組み合わせは、すべてのモデルバージョンで一貫してスタイルの強度とコンテンツの忠実度を向上させ、BARTモデルが優れた性能を示した。
• GPT-2 モデルに二重報酬を適用した場合、BLEUスコア0.634、スタイル信頼性0.634を達成し、優れたコンテンツ保持性と効果的なスタイル変換が実現した。
• BART large + SC & BLEU モデルは、最も自然で正確な出力を生成し、BLEUスコア1.000、スタイル信頼性0.096を達成しており、高い自然さと正しいスタイル変換を示している。