[論文レビュー] PanGu-Bot: Efficient Generative Dialogue Pre-training from Pre-trained Language Model

Fei Mi, Yitong Li+8 more|arXiv (Cornell University)|Mar 31, 2022

Topic Modeling被引用数 13

ひとこと要約

PANGU-BOT は、1億個の高品質な会話百万件の会話発話のみを用いて、大規模事前学習言語モデル PANGU-α から微調整された中国語オープンドメイン対話モデルであり、大幅に削減されたデータおよび計算コストで、応答品質、知識の正確性、安全性の面で最先端の性能を達成している。また、追加の訓練を経ずに感情に応じた応答を生成できる。

ABSTRACT

In this paper, we introduce PanGu-Bot, a Chinese pre-trained open-domain dialogue generation model based on a large pre-trained language model (PLM) PANGU-alpha (Zeng et al.,2021). Different from other pre-trained dialogue models trained over a massive amount of dialogue data from scratch, we aim to build a powerful dialogue model with relatively fewer data and computation costs by inheriting valuable language capabilities and knowledge from PLMs. To this end, we train PanGu-Bot from the large PLM PANGU-alpha, which has been proven well-performed on a variety of Chinese natural language tasks. We investigate different aspects of responses generated by PanGu-Bot, including response quality, knowledge, and safety. We show that PanGu-Bot outperforms state-of-the-art Chinese dialogue systems (CDIALGPT (Wang et al., 2020), EVA (Zhou et al., 2021), EVA2.0 (Gu et al., 2022)) w.r.t. the above three aspects. We also demonstrate that PanGu-Bot can be easily deployed to generate emotional responses without further training. Throughout our empirical analysis, we also point out that the PanGu-Bot response quality, knowledge correctness, and safety are still far from perfect, and further explorations are indispensable to building reliable and smart dialogue systems. Our model and code will be available at https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/PanGu-Bot soon.

研究の動機と目的

• 事前学習言語モデルを活用することで、オープンドメイン対話システムの学習にかかるデータおよび計算コストを削減すること。
• 大量でノイズの多いオンラインデータではなく、小規模で選別された会話データセットのみで、高品質な会話性能を達成できるかどうかを調査すること。
• 対話システムの主な側面である応答品質、知識の正確性、安全性、感情に応じた応答生成の評価と改善を行うこと。
• 大規模事前学習モデルが再訓練なしに知識および言語能力を対話生成に継承・転送できるかどうかを検討すること。

提案手法

• 選別された1億ターンの会話データセットを用いて、2000億パラメータの PANGU-α 言語モデルを微調整し、3億および26億パラメータの2バージョンを作成する。
• ユーザー入力の後に「生成高兴の回复」（幸せな応答を生成）などの指示トークンを付加するプロンプトベースの微調整戦略を採用し、感情に応じた応答を条件づける。
• PANGU-α が既に備えている知識および言語的能力を活用することで、大規模な会話特化型事前学習の必要性を低減する。
• 自動評価指標（例：BLEU、ROUGE、BERTScore）と人間による評価を用いて、応答品質、事実の正確性、安全性の面でモデルの性能を評価する。
• 対戦型プロンプトを用いて、3つのカテゴリ（反論的、有害、攻撃的）の内容に対する応答の安全性をテストする。
• 感情に特化したデータでの微調整なしに、ゼロショットプロンプトを用いて感情に忡じた応答を生成する。

実験結果

リサーチクエスチョン

• RQ1 大規模事前学習言語モデルを活用することで、小規模で高品質な会話データセットのみで強力な性能を達成できるか？
• RQ2 事前学習言語モデルがどれほど対話生成に知識と能力を継承・転送できるか。これは、幻覚の低減と事実の正確性の向上に寄与するか？
• RQ3 PANGU-BOT は、対戦型および感受性の高いプロンプトに対して、既存の中国語対話モデルと比較してどの程度安全か？
• RQ4 感情アノテーション付きデータでの微調整なしに、対話モデルが感情に適した応答を生成できるか？
• RQ5 応答品質、知識、安全性の面で、今後さらに研究を要する課題は何か？

主な発見

• PANGU-BOT は、人間のアノテーターによる感覚性、明確性、興味の度合いの観点から、最先端の中国語対話システム（CDialGPT、EVA、EVA2.0）を上回る応答品質を示している。
• PANGU-α からの継承のおかげで、ベースラインと比較して著しく幻覚率が低く抑えられており、知識の正確性が優れていることが示された。
• 「生成高兴の回复」などの簡単な感情プロンプトを用いることで、感情に応じた応答を微調整なしに生成でき、ゼロショット感情生成能力を示している。
• 強力な性能を発揮しているものの、PANGU-BOT は依然として顕著な不適切な応答生成を示しており、特に対戦型プロンプトでは、全カテゴリで高い不適切率を示している。
• PANGU-BOT の26億パラメータバージョンは、「反論的」プロンプトでは EVA2.0 よりわずかに優れているが、「有害」および「攻撃的」プロンプトでは安全性が劣っており、安全性の面で改善の余地があることが示された。
• PANGU-BOT の学習には、初期学習から訓練するモデルと比較して著しく少ない計算リソースが要されたことから、高い学習効率と環境への配慮が示された。