[論文レビュー] A Manually Annotated Chinese Corpus for Non-task-oriented Dialogue Systems

Jing Li, Yan Song+2 more|arXiv (Cornell University)|May 15, 2018

Speech and dialogue systems参考文献 17被引用数 4

ひとこと要約

本論文は、非タスク指向型対話システム向けの最初の手動アノテート済み中国語コーパスを紹介する。このコーパスには27,000件を超えるプロンプトと82,000件の応答ペアが含まれており、関連性、一貫性、情報量、興味深さの4つの基準に基づき、5段階の質の等級（悪いから優れたものまで）で評価されている。このコーパスにより、応答選択の性能が顕著に向上し、教師ありモデルが教師なしベースラインを上回り、より厳しい質の閾値においても頑健な性能を示す。

ABSTRACT

This paper presents a large-scale corpus for non-task-oriented dialogue response selection, which contains over 27K distinct prompts more than 82K responses collected from social media. To annotate this corpus, we define a 5-grade rating scheme: bad, mediocre, acceptable, good, and excellent, according to the relevance, coherence, informativeness, interestingness, and the potential to move a conversation forward. To test the validity and usefulness of the produced corpus, we compare various unsupervised and supervised models for response selection. Experimental results confirm that the proposed corpus is helpful in training response selection models.

研究の動機と目的

• 非タスク指向型中国語対話システム向けの高品質で手動アノテート済みの学習データの不足に対処すること。
• 「私も同じ」のような一般的な応答（例：'me too'）の頻発を減らすために、質に配慮したアノテーションを導入すること。
• 中国語対話システムにおける応答選択モデルの学習と評価のためのベンチマークデータセットを確立すること。
• さまざまな応答選択モデルを用いた比較実験を通じて、コーパスの実用性を検証すること。
• 特に優れた応答と平均的・汎用的応答の区別を可能にすることで、対話システムの信頼性を向上させること。

提案手法

• Baidu Tieba、Zhihu、Douban、Sina Weiboなどのソーシャルメディアプラットフォームから、27,000件を超える異なる中国語プロンプトと82,000件の応答ペアを収集した。
• 関連性、一貫性、情報量、会話的潜在性に基づき、5段階の評価スケール（悪い、平均的、許容できる、良い、優れたもの）を定義した。
• 複数のアノテーターを用い、Cohenのカappa（80.0%）を用いてアノテータ間整合性を測定し、高いアノテーション品質を確保した。
• 中国語のトークン化にJiebaを用い、テキストを前処理し、80%を訓練用、10%を開発用、10%をテスト用に分割した。
• さまざまなモデルを評価した：教師なし（コサイン類似度、BM25）、教師あり（ハンドクラフト特徴を用いたSVMRank、GBDT）、ニューラルモデル（BiLSTM、CNN）を用いた応答ランク付け。
• 評価指標として、精度@1（P@1）、平均平均精度（MAP）、平均逆順位（MRR）を用い、ゴールスタンダードの評価を用いて正例／負例の応答セットを定義した。

実験結果

リサーチクエスチョン

• RQ1 多段階の質の等級が付与された手動アノテート済み中国語コーパスは、非タスク指向型対話システムにおける応答選択を改善できるか？
• RQ2 このコーパスで学習した教師ありモデルは、教師なしベースラインと比較して、高品質な応答の選択において優れた性能を示すか？
• RQ3 このコーパスは、優れた応答と一般的・関連のない応答をどの程度明確に区別できるか？
• RQ4 質の閾値が変化する（例：評価 ≥3 と ≥5）場合、このコーパスは一貫した性能を示すか？
• RQ5 5段階の評価スケールは、応答の質の微細な差を的確に捉えられるか？

主な発見

• コーパスには27,000件の異なるプロンプトと82,000件のプロンプト-応答ペアが含まれており、そのうち48.9%の応答が「許容できる」（評価3）とされた。これは、汎用的または文脈依存の応答が一般的であることを示している。
• 35.0%の応答が2.5未満の評価を受け、ソーシャルメディアの元データがノイズが多く低品質であることが確認された。
• 教師ありモデル（SVMRank、GBDT、BiLSTM、CNN）は、すべての指標で教師なしモデル（コサイン類似度、BM25）を上回り、コーパスが学習に有効であることを示している。
• 質の閾値が高くなる（例：≥3から≥5に）ほど、教師なしモデルの性能低下が顕著に顕在したが、教師ありモデルは高い性能を維持した。これは、質の差をより効果的に識別できることを示している。
• コーパスは応答の順序付けを効果的に可能にし、優れた応答が常に良いや許容できる応答よりも高いスコアを獲得した。これは、高品質な応答選択に有効であることを検証している。
• アノテータ間整合性（Cohenのカappa = 80.0%）は、5段階のアノテーションスキームの信頼性と一貫性を裏付けている。