[論文レビュー] A Repository of Conversational Datasets

Matthew Henderson, Paweł Budzianowski+9 more|arXiv (Cornell University)|Apr 13, 2019

Topic Modeling参考文献 51被引用数 9

ひとこと要約

本論文は、Reddit、OpenSubtitles、AmazonQAの3つの大規模な会話データセット—合計数百億件の文脈-応答ペアを含む—を公開するリポジトリを紹介している。また、1対100の精度評価プロトコルを標準化し、神経ネットワークおよびベクトルベースのベースラインを提示している。特に、polyai-encoderモデルはRedditで61.3%の精度を達成し、すべてのベースラインを大きく上回り、研究グループ間での一貫性があり再現可能なモデル比較を可能にしている。

ABSTRACT

Progress in Machine Learning is often driven by the availability of large datasets, and consistent evaluation metrics for comparing modeling approaches. To this end, we present a repository of conversational datasets consisting of hundreds of millions of examples, and a standardised evaluation procedure for conversational response selection models using '1-of-100 accuracy'. The repository contains scripts that allow researchers to reproduce the standard datasets, or to adapt the pre-processing and data filtering steps to their needs. We introduce and evaluate several competitive baselines for conversational response selection, whose implementations are shared in the repository, as well as a neural encoder model that is trained on the entire training set.

研究の動機と目的

• 対話システムの学習および評価のための、大規模で多様性に富み、かつ公開可能な会話データセットの不足と一貫性の欠如を是正すること。
• 1対100の精度評価を用いた標準化された評価フレームワークを確立し、異なる研究グループ間での応答選択モデルの直接的かつ再現可能な比較を可能にすること。
• 事前処理済みで再利用可能なデータセットと強力なベースラインモデルを提供し、エンドツーエンドおよびモジュラー対話システム分野の研究を加速すること。
• 多様で自然な会話データを用いた大規模事前学習を通じて、汎用ドメインの対話モデルの開発を支援すること。

提案手法

• データセットは、文脈、応答、メタデータを含むシリアル化された例を保持するTensorFlow Recordファイルとして保存され、スレッドIDを用いてデータを訓練用（90％）とテスト用（10％）に決定的に分割している。
• 前処理には、有効な文脈-応答ペアのフィルタリング、重複の削除、正規化の適用が含まれ、データセット間の品質と一貫性を確保している。
• 6種類のベースラインモデルが実装されている：tf-idf、BM25、およびUniversal Sentence Encoder（USE）とELMo埋め込みを用いた4つの変種（類似度（sim）または学習済みマッピング（map）操作を適用）。
• ニューラルエンコーダーモデル（polyai-encoder）は、文脈用と応答用の別々のサブネットワークを用いてエンドツーエンドで学習され、ユニグラムおよびビグラム特徴抽出、埋め込み、自己注意機構、L2正則化付きの残差接続が適用されている。
• ラベルスムージングと学習可能なスケーリング係数を用いたドット積スコアリングを採用し、複数のGPUを用いて全訓練セットで同時に学習している。
• 評価は、テストセットのランダムな5万件のサブセットに対して1対100の精度を用い、結果は公開リポジトリに維持され、継続的なベンチマークが可能になっている。

実験結果

リサーチクエスチョン

• RQ1 1対100の精度評価を用いた標準化された評価プロトコルは、多様な会話データセット間での応答選択モデルの公平かつ再現可能な比較を可能にするか？
• RQ2 USE、ELMo、BERTなどの異なる埋め込みベースの手法と、学習済みマッピング関数の性能は、大規模でオープンドメインの対話データ上でどのように比較されるか？
• RQ3 数億件の例で学習されたニューラルエンコーダーモデルは、単純な検索ベースのベースラインをどれほど上回るのか？
• RQ4 キーワードベースの手法（tf-idf、BM25）は、多様な会話データセットにおいてディープラーニングベースラインと比べてどの程度の性能を示すか？

主な発見

• polyai-encoderモデルはRedditデータセットで61.3%の1対100精度を達成し、BERTやELMoベースのモデルを含むすべてのベースラインを大きく上回っている。
• 学習済みマッピング（map）操作の使用は、すべての埋め込みモデルで単純な類似度（sim）よりも性能を向上させ、文脈-応答の整合性を高めるために学習された変換の価値を示している。
• Universal Sentence Encoder（USE）モデルは、すべてのデータセットでELMoを上回り、USE-mapモデルはRedditで47.7%、OpenSubtitlesで18.0%の精度を達成した。
• キーワードベースの手法（tf-idf、BM25）はAmazonQAで競争力のある性能を示し（51.8%および52.3%）、このドメインでは希少でドメイン特異的な用語が情報として有効であることを示している。
• BERT-small-mapモデルはAmazonQAで45.8%を達成し、OpenSubtitlesではBERT-large-map（24.0%）を上回った。これはドメインに依存する性能の差を示している。
• リポジトリにより一貫したベンチマークが可能となり、研究コミュニティからの今後の貢献を容易にするため、結果が維持され拡張可能になっている。