[論文レビュー] Unsupervised Text Generation by Learning from Search

Jingjing Li, Zichao Li+4 more|arXiv (Cornell University)|Jul 9, 2020

Topic Modeling参考文献 54被引用数 31

ひとこと要約

tgls は、強力な疑似アニーリング探索と学習可能な GPT2 ベースの生成器を組み合わせて自己監督型のテキスト生成を実行し、言い換え生成で最先端の結果を達成し、テキストの形式化で競争力のある性能を示します。

ABSTRACT

In this work, we present TGLS, a novel framework to unsupervised Text Generation by Learning from Search. We start by applying a strong search algorithm (in particular, simulated annealing) towards a heuristically defined objective that (roughly) estimates the quality of sentences. Then, a conditional generative model learns from the search results, and meanwhile smooth out the noise of search. The alternation between search and learning can be repeated for performance bootstrapping. We demonstrate the effectiveness of TGLS on two real-world natural language generation tasks, paraphrase generation and text formalization. Our model significantly outperforms unsupervised baseline methods in both tasks. Especially, it achieves comparable performance with the state-of-the-art supervised methods in paraphrase generation.

研究の動機と目的

• 無監督のテキスト生成を平行データなしで解決する課題に対処する。
• SA 探索とニューラル学習を交互に行う学習-from-search フレームワーク（tgls）を提案する。
• tgls 内で大規模事前学習モデル（ fluency のための GPT-2 、意味論のための RoBERTa ）を活用する。
• 言い換え生成とテキスト形式化タスクでの有効性を示す。
• 反復的な探索-学習のブートストラップが性能を向上させ、推論効率を改善することを示す。

提案手法

• ニューラル提案を用いたSAを用いて文の空間を探索する。
• 流暢さ（s_lm）と意味論（s_semantic）を組み合わせた専門家の積のスコアリング関数と、タスク特異的スコア（s_task）を定義する。
• SA 生成の疑似参照に対して GPT-2 を語彙レベルのクロスエントロピー損失（CE）でファインチューニングする。
• RoBERTa ベースの語彙レベル・文レベルの意味スコアラーを採用して探索とスコアリングを情報する。
• 第2段階でビームサーチを用いて SA を初期化し、ポジティブ/ネガティブサンプルを用いたシーケンスレベルのマックスマージン（MM）学習で GPT-2 を洗練させる。
• 推論時には SAなしでファインチューニング済み GPT-2 を使い、自動回帰的にテキストを生成する。
• 二つの事前訓練モデルを組み込む：GPT-2 は尤度/流暢さ、RoBERTa は意味評価と語彙レベル予測。

実験結果

リサーチクエスチョン

• RQ1 学習結果から探索を通じて自己監督型テキスト生成は競争力のある性能に到達できるか。
• RQ2 探索と学習の反復ループは単一段階のアプローチを超えて生成品質を向上させるか。
• RQ3 大規模な事前学習モデルを探索ベースの自己監督生成フレームワークに効果的に統合するにはどうすればよいか。
• RQ4 このフレームワークは言い換え生成とテキスト形式化タスクの双方で堅牢か。

主な発見

方法	iBLEU	BLEU
SA	14.52	21.08
SA + CE	14.97	23.25
SA + CE + SA	15.41	21.48
SA + CE + SA + CE	15.70	21.70
SA + CE + SA + MM (full)	17.48	25.00
tgls w/ PLM (Ours)	N/A	N/A

• tgls は paraphrase generation で iBLEU 17.48 と BLEU 25.00 を達成し、このタスクにおける新しい自己監督型最先端を樹立した。
• tgls は従来の自己監督法を上回り、 paraphrase generation で監督ありの性能に近づく（監督付きとの差は 1.71 iBLEU のギャップ）。
• テキスト形式化では、GYAFCスタイル設定で既存の自己監督ベースラインを上回るが、監督ありの手法が依然リードしている。
• アブレーション研究は CE 学習が SA の結果を改善し、MM 学習は第2段階で SA と組み合わせるとより大きな効果をもたらすことを示す。
• 学習済み GPT-2 の推論（SA なし）は、元の探索ベースの手法より 6–10 倍速く、効率性の利点を示す。