[論文レビュー] Unsupervised Paraphrase Generation using Pre-trained Language Models
本研究は、損傷を受けた入力を用いた文再構成タスクでGPT-2をファインチューニングすることにより、教師なしの言い換え生成アプローチを提示し、データ拡張として使用した場合に下流の分類性能を改善する、高品質かつ多様な言い換えを達成します。
Large scale Pre-trained Language Models have proven to be very powerful approach in various Natural language tasks. OpenAI's GPT-2 \cite{radford2019language} is notable for its capability to generate fluent, well formulated, grammatically consistent text and for phrase completions. In this paper we leverage this generation capability of GPT-2 to generate paraphrases without any supervision from labelled data. We examine how the results compare with other supervised and unsupervised approaches and the effect of using paraphrases for data augmentation on downstream tasks such as classification. Our experiments show that paraphrases generated with our model are of good quality, are diverse and improves the downstream task performance when used for data augmentation.
研究の動機と目的
- 大規模事前学習済み言語モデルが、ラベル付きデータなしで高品質な言い換えを生成できることを示す。
- 破損した入力から文を再構成することが、教師なしで言い換え生成を訓練できることを示す。
- 下流タスクにおける言い換えの品質、多様性、およびデータ拡張としての有用性を評価する。
提案手法
- ソースが破損した文S（ストップワードを除去、単語の20%シャッフル、同義語置換20%を適用）で、ターゲットが元の文Tとなる文再構成タスクに対してGPT-2をファインチューニングして使用する。
- 訓練中に、ソースとターゲットを[SEP]トークンで連結してGPT-2の入力Xを形成する。
- 各入力に対してtop-kサンプリング（k=10）を用いて複数の言い換えを生成する。
- Sentence Transformersを用いて入力との意味的類似性で言い換えをフィルタリングし、コサイン類似度の閾値を0.75とする。
- METEORとROUGE-Lで品質を評価し、self-BLEUで多様性を測定し、SST-2とTRECタスクでのデータ拡張を通じて有用性を評価する。
実験結果
リサーチクエスチョン
- RQ1ラベル付き言い換えデータを用いずに、教師なしのGPT-2ベースの言い換えは高品質の言い換えを生み出すことができるか？
- RQ2この方法で生成された言い換えは、データ拡張として使用した場合下流の分類性能を改善するか？
- RQ3生成された言い換えは多様でありつつ、意味的には元のソースに忠実か？
- RQ4教師なしアプローチは、教師ありおよび他の教師なし言い換え手法とどう比較されるか？
主な発見
- 言い換えは高品質で、METEORが報告された結果の多くの教師ありモデルを上回る。
- この方法は多様な言い換えを生み出し、候補間のself-BLEUスコアが低いことから示される。
- データ拡張として言い換えを使用すると、SST-2およびTRECの下流分類タスクで実測の改善をもたらす。
- 人間の評価では、平均で75.5%の正確さで言い換えの正確性を示す。
- 教師なしベースラインと比較して、提案手法はROUGE-1およびROUGE-2スコアで競争力があり、METEORスコアは優れている。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。