[論文レビュー] XL-Editor: Post-editing Sentences with XLNet

Yong-Siang Shih, Wei-Cheng Chang+1 more|arXiv (Cornell University)|Oct 19, 2019

Topic Modeling参考文献 27被引用数 7

ひとこと要約

XL-Editor は、変動長挿入確率推定を用いて XLNet の性能を向上させ、挿入、削除、置換操作を効率的に行えるようにする画期的な学習フレームワークである。BLEU スコアの低下を最小限に抑えつつスタイル変換の精度を著しく向上させ、標準的な系列対系列モデルを超える広範な応用性を示している。

ABSTRACT

While neural sequence generation models achieve initial success for many NLP applications, the canonical decoding procedure with left-to-right generation order (i.e., autoregressive) in one-pass can not reflect the true nature of human revising a sentence to obtain a refined result. In this work, we propose XL-Editor, a novel training framework that enables state-of-the-art generalized autoregressive pretraining methods, XLNet specifically, to revise a given sentence by the variable-length insertion probability. Concretely, XL-Editor can (1) estimate the probability of inserting a variable-length sequence into a specific position of a given sentence; (2) execute post-editing operations such as insertion, deletion, and replacement based on the estimated variable-length insertion probability; (3) complement existing sequence-to-sequence models to refine the generated sequences. Empirically, we first demonstrate better post-editing capabilities of XL-Editor over XLNet on the text insertion and deletion tasks, which validates the effectiveness of our proposed framework. Furthermore, we extend XL-Editor to the unpaired text style transfer task, where transferring the target style onto a given sentence can be naturally viewed as post-editing the sentence into the target style. XL-Editor achieves significant improvement in style transfer accuracy and also maintains coherent semantic of the original sentence, showing the broad applicability of our method.

研究の動機と目的

• 生成的自己回帰モデル（例：XLNet）が、非線形的で複数位置に及ぶ編集を模倣する能力に制限を受けることへの対処。
• 標準的な自己回帰モデリングにおける固定長系列の仮定を克服し、XLNet が変動長挿入確率を効率的に推定できるようにすること。
• 生成を超えて、挿入、削除、置換といった後処理操作を含めたテキスト品質の向上を実現するため、XLNet の能力を拡張すること。
• スタイル変換を文の再編集として再定式化することで、非ペairedテキストスタイル変換における後処理の有効性を示すこと。
• 出力の局所的で文脈に配慮した修正を通じて、既存の系列対系列モデルを補完すること。

提案手法

• 左側および右側の文脈系列間の変動長挿入をモデル化するための挿入ベースの相対的位置エンコーディング方式を導入。
• 左および右の文脈を用いた自己回帰的要因分解により、任意の位置に部分列を挿入する確率を推定。
• 最適な編集ポイントと編集列を予測することで、挿入、削除、置換の3つの後処理操作をサポート。
• 事前学習済みの XLNet パラメータを活用し、編集系列上で最大尤度推定を用いて微調整。
• ターゲットスタイル埋め込みを条件として、最先端のスタイル変換モデルの出力を条件付きで修正するためにモデルを適用。
• モデルがソーススタイルおよびターゲットスタイル入力をもとに編集を生成するように学習するための条件付き確率推定フレームワークを採用。

実験結果

リサーチクエスチョン

• RQ1 XLNet は、後処理に適した変動長挿入確率推定を効果的に拡張できるか？
• RQ2 挿入、削除、置換の後処理操作は、標準的な自己回帰的生成と比較して、生成系列の品質を向上させられるか？
• RQ3 提案された XL-Editor フレームワークは、意味的整合性を保ちつつ、非ペairedテキストスタイル変換における性能を向上させるか？
• RQ4 XL-Editor は、熟語性（BLEU）の低下を最小限に抑えつつ、スタイル精度を著しく向上させ、既存の SOTA モデルの出力を効果的に改善できるか？
• RQ5 挿入ベースの相対的位置エンコーディングは、先行する挿入ベースのモデルと比較して、効率性および正確性をどのように向上させるか？

主な発見

• Yelp データセットでは、XL-Editor が 98.8% のスタイル精度、28.75 BLEU を達成し、最高のベースライン（PTO）の 95.7% のスタイル精度と 28.75 BLEU を上回った。
• Amazon データセットでは、XL-Editor がスタイル精度を PTO の 40.2% から 43.2% に向上させつつ、41.13 の高い BLEU スコアを維持し、コンテンツの保存性が優れていることが示された。
• Gスコア（BLEU とスタイル精度の幾何平均）は、Yelp で 49.2、Amazon で 42.2 に達し、評価済みのすべてのシステムの中で最高となった。
• XL-Editor は、微妙な誤りを効果的に是正しており、例として「overpriced」を「reasonably priced」に置換し、重複する表現を削除するなど、定性的な例でもその有効性が示された。
• スタイル精度の向上が顕著でありながら BLEU の低下が最小限に抑えられており、熟語性を損なわず効果的な修正が行えることが示された。
• 複数の SOTA モデル（UMT や PTO）の出力を、2つの異なるデータセットで効果的に向上させることで、フレームワークの広範な応用性が実証された。