[論文レビュー] Robust Dialogue Utterance Rewriting as Sequence Tagging

Jie Hao, Linfeng Song+4 more|arXiv (Cornell University)|Dec 29, 2020

Topic Modeling参考文献 25被引用数 5

ひとこと要約

本稿では、語単位の削除と文脈スパンの挿入として書き換えをモデル化することで、検索空間を縮小する、耐障害性の高い会話発話の再書き換えのための系列タギング手法を提案する。BLEUとGPT-2のPerplexityを用いたREINFORCEによるfluency信号の統合により、モデルは最先端の性能を達成し、クロスドメイン評価においてBLEU4が14.6ポイント向上、正確一致が18.9%向上した。生成ベースのモデルと比較して、意味的コンテンツの保持もより優れている。

ABSTRACT

The task of dialogue rewriting aims to reconstruct the latest dialogue utterance by copying the missing content from the dialogue context. Until now, the existing models for this task suffer from the robustness issue, i.e., performances drop dramatically when testing on a different domain. We address this robustness issue by proposing a novel sequence-tagging-based model so that the search space is significantly reduced, yet the core of this task is still well covered. As a common issue of most tagging models for text generation, the model's outputs may lack fluency. To alleviate this issue, we inject the loss signal from BLEU or GPT-2 under a REINFORCE framework. Experiments show huge improvements of our model over the current state-of-the-art systems on domain transfer.

研究の動機と目的

• 出典ドメイン外のテストセットで顕著に性能が低下する既存のモデルの耐障害性の問題に対処すること。
• 系列生成ではなく系列タギングとして定式化することにより、再書き換えタスクの検索空間を縮小すること。
• 出力に直接的な単語同士の相互作用がないタギングベースのモデルにおける出力のfluencyを向上させること。
• ドメインを超えた一般化を向上させつつ、書き換え中に意味的整合性を維持すること。

提案手法

• 会話発話を系列タギング問題として多タスクに定式化し、各入力語に対して削除または保持のラベルを付与し、挿入用の文脈スパンを予測する。
• 各位置における挿入のための文脈スパンの境界を会話文脈から予測することで、制約付きの検索空間を定義する。
• ベースラインを用いたREINFORCEベースのフレームワークを採用し、文単位のBLEUとGPT-2のPerplexityから得られる報酬を組み合わせてfluencyを最適化する。
• 事前学習済みGPT-2を用いて、参照なしのfluency信号を提供し、オープンドメイン設定下での性能を向上させる。
• 強化学習の目的関数内に、参照ベースのアライメントを目的とするBLEUと、fluencyを目的とするGPT-2のPerplexityという複数の監視信号を統合する。
• 削除と挿入の意思決定を同時に予測できるジョイントタギングヘッドを採用し、エンドツーエンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 系列生成アプローチと比較して、系列タギングの定式化は、ドメイン外テストセットにおける会話発話の再書き換えモデルの耐障害性を向上させ得るか？
• RQ2 出力に直接的な単語同士の相互作用がない系列タギングモデルにおいて、どのようにしてfluencyを効果的に向上させられるか？
• RQ3 参照要約が不要な状況でも、GPT-2のPerplexityを報酬信号として統合することで、生成品質がどの程度向上するか？
• RQ4 提案手法は、生成ベースのベースラインと比較して、入力発話からの意味的コンテンツをより多く保持しているか？
• RQ5 タギング論理がカバーしていない、困難な未カバー例において、モデルはどの程度の性能を示すか？

主な発見

• 提案手法のRaST+RL-GPT2モデルは、クロスドメイン評価において、前回の最先端手法と比較してBLEU4が14.6ポイント向上し、正確一致が18.9パーセンテージポイント向上した。
• 人間評価でもすべてのベースラインを上回り、ペairワイズ比較において最多の勝利ケースを記録した。
• 意味的役割ラベリング（SRL）分析により、モデルがベースラインと比較してコアな意味的意味をよりよく保持していることが確認され、ドメイン内およびドメイン外の両設定で最高のF1スコアを達成した。
• 制約付きの検索空間のおかげで、ケーススタディでは語の繰り返しや不適切な語の挿入といったfluencyエラーが少なくなる。
• 未カバー例では、BLEU4が56.4を維持し、コンテンツリコール（R-L）が70.7と顕著に高く、耐障害性が優れていることが示された。
• 未カバー例では正確一致がほぼゼロとなったが、これはタギングベースの設計に起因するものであり、ベースラインとの性能差は最小限に抑えられていた。