[論文レビュー] Hybrid Generative-Retrieval Transformers for Dialogue Domain Adaptation

Igor Shalyminov, Alessandro Sordoni+2 more|arXiv (Cornell University)|Mar 3, 2020

Topic Modeling参考文献 36被引用数 4

ひとこと要約

本論文では、GPT-2でファインチューニングされた、ハイブリッド型の生成・検索ベースのトランスフォーマーモデルを提案し、少量の対話データを用いたドメイン適応を実現する。生成モデルと検索ベースの応答選択を組み合わせることで、人間評価においてMulti-domain Wizard-of-Oz（MultiWOZ）データセットで最先端の性能を達成し、2位のシステムを4%以上の勝率で上回った。

ABSTRACT

Domain adaptation has recently become a key problem in dialogue systems research. Deep learning, while being the preferred technique for modeling such systems, works best given massive training data. However, in the real-world scenario, such resources aren't available for every new domain, so the ability to train with a few dialogue examples can be considered essential. Pre-training on large data sources and adapting to the target data has become the standard method for few-shot problems within the deep learning framework. In this paper, we present the winning entry at the fast domain adaptation task of DSTC8, a hybrid generative-retrieval model based on GPT-2 fine-tuned to the multi-domain MetaLWOz dataset. Robust and diverse in response generation, our model uses retrieval logic as a fallback, being SoTA on MetaLWOz in human evaluation (>4% improvement over the 2nd place system) and attaining competitive generalization performance in adaptation to the unseen MultiWOZ dataset.

研究の動機と目的

• 限られたドメイン内データでの新しいドメイン向けの目的指向対話システムの学習におけるデータ効率性の課題に対処すること。
• 少量の対話データ設定下での純粋な生成モデルや検索ベースのモデルの限界を克服すること。
• 未学習ドメインに一般化しやすい、多様性のある応答生成システムを構築すること。
• 大規模な事前学習済み言語モデルからの転移学習を活用し、リソースが限られたドメインでの性能を向上させること。
• 少量の対話データ設定下で、人間による評価で優れた応答品質と、競争力のある自動評価スコアを達成すること。

提案手法

• 応答生成のため、小規模なドメイン内サポートセット上でGPT-2ベースの生成モデルをファインチューニングする。
• 意味的符号化を用いて、サポートセットから最も類似した対話文脈を検索する検索コンponentを統合する。
• 対象となる対話文脈とサポートセット内の対話文を、同じトランスフォーマーエンコーダーを用いて符号化し、意味的類似度を計算する。
• コントラスト型ランク付け機構を用いて、生成候補と検索候補のうち最良の応答を選択する。
• 学習されたランク付けモジュールを介して生成応答と検索応答を統合し、最終出力を得る。
• 大規模事前学習言語モデルからの知識転送を適用し、ゼロショットおよび少量の対話データ設定下での性能向上を図る。

実験結果

リサーチクエスチョン

• RQ1 少量の対話データ設定下で、純粋な生成モデルや検索ベースのモデルよりも、ハイブリッド型の生成・検索アプローチが優れた性能を発揮できるか？
• RQ2 GPT-2のような大規模事前学習言語モデルを、小規模なドメイン内サポートセット上でファインチューニングすることで、応答生成にどの程度有効に使えるか？
• RQ3 リソースが限られた環境下で、検索ベースのフォールバック機構が応答の多様性と一貫性をどの程度向上できるか？
• RQ4 このようなハイブリッドモデルは、MultiWOZのような未学習のマルチドメインベンチマークに効果的に一般化できるか？
• RQ5 このアプローチは、既存の最先端システムと比較して、少量の対話データ設定下で人間による評価でどの程度の性能向上を達成できるか？

主な発見

• 提案モデルは、人間によるペairwise比較で56.85%の勝率を達成し、2位のシステムを4ポイント以上上回った。
• Meta-WOZデータセットにおいて、人間評価で最先端の性能を達成し、ベースラインおよび他の競合システムと比べて顕著な差を示した。
• 未学習のMultiWOZデータセットに対しても、競争力ある一般化性能を示し、強力なゼロショット適応能力を示した。
• BLEU、METEOR、ROUGE-Lといった自動評価指標において、生成モデルのみまたは検索ベースのみのベースラインと比較して一貫した改善が見られた。
• ハイブリッドアーキテクチャにより、応答の多様性と一貫性が向上し、信頼度が低い生成状況での強固なフォールバック機構としての検索が有効に機能した。
• 小規模なドメイン内サポートセットでのファインチューニングにより、モデルの性能が顕著に向上し、限られたラベル付きデータでも有効であることが実証された。