[論文レビュー] Topical-Chat: Towards Knowledge-Grounded Open-Domain Conversations

Karthik Gopalakrishnan, Behnam Hedayatnia+6 more|arXiv (Cornell University)|Aug 23, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、8つの広範なトピックにわたる約11,000件の対話から構成され、役割の定めのない、知識に基づいたオープンドメイン会話データセット「Topical-Chat」を紹介する。会話参加者間の知識の非対称性や対称性を反映するため、対象トピックのリーディングセット（Wikipedia、ワシントン・ポスト、Reddit）を提供する。著者らは、このデータセット上でTransformerベースのエンコーダーデコーダーモデルを訓練し、自動評価および人的評価を通じて、応答の多様性と知識の根拠の強化が向上することを示した。最良のモデルでは、頻出テストセットでunigram F1が0.84、bigram多様性が0.83を達成した。

ABSTRACT

Building socialbots that can have deep, engaging open-domain conversations with humans is one of the grand challenges of artificial intelligence (AI). To this end, bots need to be able to leverage world knowledge spanning several domains effectively when conversing with humans who have their own world knowledge. Existing knowledge-grounded conversation datasets are primarily stylized with explicit roles for conversation partners. These datasets also do not explore depth or breadth of topical coverage with transitions in conversations. We introduce Topical-Chat, a knowledge-grounded human-human conversation dataset where the underlying knowledge spans 8 broad topics and conversation partners don't have explicitly defined roles, to help further research in open-domain conversational AI. We also train several state-of-the-art encoder-decoder conversational models on Topical-Chat and perform automated and human evaluation for benchmarking.

研究の動機と目的

• 会話における知識の非対称性やトピックの深さの違いを反映した、自然で知識に基づいたオープンドメイン会話データセットの不足を解消すること。
• 広範なトピックカバレッジと滑らかなトピック遷移を備えたデータセットを提供することで、オープンドメイン会話AI分野の研究を促進すること。
• 現実的で人間が生成した知識に基づいた対話ベンチマーク上で、最先端モデルの性能を評価すること。
• 自動的および人的評価指標を用いて、応答生成における知識の根拠の有効性を評価すること。

提案手法

• データセットは、アマゾン・メカニカル・トルクを介して収集され、参加者がトピック別リーディングセット（Wikipedia、ワシントン・ポスト、Reddit）を受領し、自然で役割のない会話を実施した。
• リーディングセットは、会話参加者間の知識の非対称性を反映させるために、対称的または非対称的に設計された。
• 各対話は、リーディングセットの利用状況、感情、その他の次元についてアノテーションが付けられ、評価を支援した。
• 著者らは、Topical-Chat上でTransformerベースのエンコーダーデコーダーモデルを微調整し、文脈窓サイズ $W_H = 32$ の知識認識アテンション機構を用いた。
• BookCorpusでの事前学習あり・なしの両方の設定でモデルを訓練し、ビームサーチ（ビームサイズ5）とバイトペア符号化（BPE）を用いて語彙のトークン化を行った。
• 知識の根拠を実装するにあたり、デコーダーを会話履歴と取得した知識文の両方に条件づけ、長い知識入力を扱えるように $W_K = 128$ を設定した。

実験結果

リサーチクエスチョン

• RQ1 Transformerベースのモデルは、オープンドメイン会話において、多様で現実世界の知識源に基づいた応答をどれほど効果的に生成できるか？
• RQ2 知識の根拠は、オープンドメイン対話における応答の整合性、トピック関連性、会話への関与度をどの程度向上させるか？
• RQ3 事前学習や知識統合といった異なる学習戦略に応じて、モデルの性能はどのように変化するか？
• RQ4 自動評価指標は、知識に基づいた対話における応答品質に関する人的判断とどの程度相関するか？

主な発見

• 最良のモデル（知識と事前学習を有するTF）は、頻出テストセットでunigram F1が0.22、bigram多様性が0.84を達成し、高水準の語彙的情報量と多様性を示した。
• 知識に基づいたモデルは、非知識ベースライン（F1: 0.16、PPL: 29.8）と比較して、unigram F1（0.22）が向上し、パープレクサリティも高くなった（34.1）。これは、正解応答との整合性が高まっていることを確認した。
• 人的評価では、知識を活用するモデルの知識活用効果が平均0.80と高く評価されたが、非知識モデルは0.08にとどまり、効果はやや限定的であった。
• 文脈窓サイズ $W_H = 32$ のモデルが最も優れた自動評価スコアを達成した。これは、過剰に大きな文脈窓が、重要な会話トークンへの注目を損なう可能性があることを示唆している。
• 「興味深い」と「会話を続ける」ラベルについての人的合意は低かった（kappa < 0.3）。これは、これらの属性が主観的であることを示唆しているが、理解可能性やトピック関連性といった他の指標は高い信頼性（kappa ≥ 0.67）を示した。
• データセットは、高い多様性スコアと、リーディングセット利用状況の一貫性を示すアノテーションを通じて、自然なトピック遷移と多様な知識活用を支援していることが裏付けられた。