[論文レビュー] A Large-Scale Chinese Short-Text Conversation Dataset

Yida Wang, Pei Ke+5 more|arXiv (Cornell University)|Aug 10, 2020

Topic Modeling参考文献 39被引用数 6

ひとこと要約

本論文では、680万（ベース版）および1200万（ラージ版）の対話から構成され、11万組の手動ラベル付きペアを用いて訓練された分類器とルールベースのフィルタリングを組み合わせた二段階パイプラインによりクリーニングされた、大規模かつ高品質な中国語短文対話データセット「LCCC」を紹介する。著者らは、LCCCで事前学習された対話モデル（CDialGPT）を公開しており、自動評価および人的評価の両方で優れた性能を示し、中国語オープンドメイン対話生成のベンチマークを設定している。

ABSTRACT

The advancements of neural dialogue generation models show promising results on modeling short-text conversations. However, training such models usually needs a large-scale high-quality dialogue corpus, which is hard to access. In this paper, we present a large-scale cleaned Chinese conversation dataset, LCCC, which contains a base version (6.8million dialogues) and a large version (12.0 million dialogues). The quality of our dataset is ensured by a rigorous data cleaning pipeline, which is built based on a set of rules and a classifier that is trained on manually annotated 110K dialogue pairs. We also release pre-training dialogue models which are trained on LCCC-base and LCCC-large respectively. The cleaned dataset and the pre-training models will facilitate the research of short-text conversation modeling. All the models and datasets are available at https://github.com/thu-coai/CDial-GPT.

研究の動機と目的

• ニューラル対話生成モデルの学習に向けた大規模かつ高品質な中国語対話データセットの不足を解消すること。
• 公開済みのソーシャルメディアコーパスに見られる、有毒コンテンツや低関連性といったデータ品質の問題を克服すること。
• 中国語短文対話に適したスケーラブルなルールおよび分類器ベースのデータクリーニングパイプラインの開発。
• 研究を加速するために、ベンチマークデータセットと事前学習済みモデルの公開。
• 洗練された中国語対話データに基づく大規模事前学習により、オープンドメイン対話生成における最先端のパフォーマンスを実現すること。

提案手法

• 二段階のデータクリーニングパイプラインを設計：まずヒューリスティックルールを用いて不適切なコンテンツをフィルタリングし、次に11万組の手動ラベル付き対話ペアを用いて訓練された分類器を用いて品質をさらに精錬。
• LCCCデータセットは、ベース版で7900万件のWeibo対話を、ラージ版では追加の中国語コーパスを用いて構築。
• CDialGPTという事前学習モデルは、まず中国語小説コーパスで事前学習され、その後、マスク言語モデルの目的関数を用いてLCCCデータセットで微調整。
• モデルは、自己回帰的デコードを用いたシーケンス・ツー・シーケンス生成フレームワークを用いて、下流タスクで微調整。
• モデルの評価には、自動指標（BLEU、パープレキシティ、ドキュメント内n-gramの多様性、グリーディマッチング、埋め込み平均）と人的評価の組み合わせを用いる。
• すべてのモデルとデータセットは、https://github.com/thu-coai/CDial-GPT にてGitHubに公開され、一般利用可能。

実験結果

リサーチクエスチョン

• RQ1 スケーラブルでルールおよび分類器ベースのパイプラインは、高品質な対話サンプルを保持しつつ、大規模な中国語短文対話のクリーニングを効果的に行えるか？
• RQ2 洗練された大規模な中国語対話コーパスで事前学習することで、より小さいまたはノイズの多いデータセットで学習したモデルと比較して、オープンドメイン対話生成のパフォーマンスがどのように向上するか？
• RQ3 公開された事前学習済みモデル（CDialGPT）は、中国語対話生成の自動評価および人的評価指標において、既存のベースラインをどの程度上回るか？
• RQ4 LCCCデータセットは、中国語対話生成モデルの学習および評価のための堅牢なベンチマークとして機能するか？
• RQ5 データセットの規模と品質は、生成応答のなめらかさ、関連性、情報量にどのような影響を及えるか？

主な発見

• LCCCラージ版には1200万件の高品質な対話が含まれており、ベース版は680万件で、中国語対話研究のためのリソースが著しく拡充された。
• ルールベースのフィルタリングと訓練済み分類器を組み合わせた二段階クリーニングパイプラインは、ノイズを効果的に低減し、事前学習に適した高品質なコーパスを実現した。
• LCCCで事前学習されたCDialGPTモデルは、LCCCラージ版で18.23のパープレキシティを達成し、自動評価および人的評価の両方で他のモデルを上回った。
• 人的評価では、CDialGPT_{LCCCラージ}が2/1/0スケールで1.217のスコアを記録し、48.6％の応答が「非常に情報量が多い」と評価され、優れたなめらかさと関連性を示した。
• BLEUスコアが低いにもかかわらず、Transformer や GPT2-chitchat といった強力なベースラインを人的評価で上回ったことから、指標最適化ではなくデータ品質の重要性が裏付けられた。
• https://github.com/thu-coai/CDial-GPT にてデータセットとモデルを公開したことで、再現可能な研究が可能となり、中国語対話生成分野の進展が加速した。