[論文レビュー] PLATO-2: Towards Building an Open-Domain Chatbot via Curriculum Learning

Siqi Bao, He Huang+7 more|arXiv (Cornell University)|Jun 30, 2020

Topic Modeling参考文献 38被引用数 27

ひとこと要約

PLATO-2は、大規模なオープンドメインチャットボットを訓練するための2段階カリキュラム学習フレームワークを導入する。まず、一般応答生成のための粗い粒度のモデルを事前学習し、次に潜在変数と評価モデルを用いて、多様で一貫性のある応答を生成するための微調整を行う。このアプローチは、英語および中国語のベンチマークで最先端の性能を達成し、Meena や Blender などのモデルを上回る。

ABSTRACT

To build a high-quality open-domain chatbot, we introduce the effective training process of PLATO-2 via curriculum learning. There are two stages involved in the learning process. In the first stage, a coarse-grained generation model is trained to learn response generation under the simplified framework of one-to-one mapping. In the second stage, a fine-grained generative model augmented with latent variables and an evaluation model are further trained to generate diverse responses and to select the best response, respectively. PLATO-2 was trained on both Chinese and English data, whose effectiveness and superiority are verified through comprehensive evaluations, achieving new state-of-the-art results.

研究の動機と目的

• PLATOをより大きなパラメータ数にスケーリングする際の訓練の不安定さと非効率性を解消すること。
• 潜在変数を用いて1対多のマッピングを明示的にモデル化することで、オープンドメイン対話における応答品質を向上させること。
• 双方向の一貫性推定に特化した別個の評価モデルを用いることで、応答の一貫性と多様性を向上させること。
• オープンドメインの雑談、知識に基づく対話、タスク指向の会話など、複数の対話タスクへの効果的な転送を可能にすること。
• カリキュラム学習を通じて、会話AIのための統一的でスケーラブルな事前学習フレームワークを構築すること。

提案手法

• 訓練は2段階に分かれる。まず、一般応答パターンを学習するための単純化された1対1マッピングに基づいて、粗い粒度の生成モデルを訓練する。
• 2段階目では、1つの文脈に対して多様な応答をモデル化できるように、離散的潜在変数を用いた微細な粒度の生成モデルを訓練する。
• 対話文脈と候補応答の間の双方向的一貫性を推定するための評価モデルを訓練し、応答選択を可能にする。
• 1段階目のモデルパラメータを2段階目のモデルの初期化に使用することで、安定した訓練プロセスを確保する。
• 事前正規化を施した統一されたトランスフォーマーアーキテクチャは、柔軟なアテンションを用いて文脈符号化と自己回帰的応答生成の両方をサポートする。
• このフレームワークは英語および中国語のデータセットに適用され、研究利用向けにGitHubにモデルが公開されている。

実験結果

リサーチクエスチョン

• RQ1 複雑な1対多応答生成を伴う大規模なオープンドメインチャットボットの訓練において、カリキュラム学習は安定性を高めることができるか？
• RQ2 まず粗い粒度のモデルを事前学習することで、潜在変数を用いた後続の微細な応答生成の質と安定性が向上するか？
• RQ3 一貫性推定に特化した別個の評価モデルを訓練することで、応答選択および全体的な対話品質が顕著に向上するか？
• RQ4 2段階のPLATO-2フレームワークは、オープンドメイン、知識に基づく、タスク指向の対話など多様な対話タスクにどの程度一般化可能か？
• RQ5 カリキュラム学習アプローチにより、1.6Bパラメータにまでモデルをスケーリング可能であり、既存の最先端モデルと同等またはそれ以上の性能を維持・向上させられるか？

主な発見

• PLATO-2は、英語および中国語のオープンドメイン対話ベンチマークで、Meena や Blender や他の先端モデルを上回る最先端の結果を達成した。
• 2段階カリキュラム学習アプローチにより、1.6Bパラメータのモデルの訓練が成功裏に実施され、元のPLATOモデルを直接スケーリングした際の不安定性の問題を克服した。
• DSTC9の3つのタスク（オープンドメインの雑談、知識に基づく対話、エンドツーエンドのタスク指向会話）において、いずれも1位を獲得した。
• 微細な生成器と評価モデルを別々に訓練することで、マルチタスク干渉を軽減し、応答の多様性と一貫性の両方の性能が向上した。
• 包括的な人間評価により、PLATO-2が以前のモデルと比較して、より魅力的で多様かつ文脈に一貫性のある応答を生成することが確認された。
• このフレームワークは優れた転送性を示し、アーキテクチャの大幅な見直しを伴わずに、複数の対話タイプを効果的にサポートした。