[論文レビュー] Link the World: Improving Open-domain Conversation with Dynamic Spatiotemporal-aware Knowledge

Han Zhou, Xinchao Xu+6 more|arXiv (Cornell University)|Jun 28, 2022

Topic Modeling被引用数 5

ひとこと要約

本論文では、リアルタイムの世界知識を取得するためのサービスAPIへの能動的クエリを可能にする、動的で空間的・時間的文脈に配慮した対話システムを提案する。DuSincデータセット（10,000件以上のヒューマン・ヒューマン対話に加え、サービスリクエストを含む）を用いて、一貫性、事実性、会話の魅力性が向上し、世界リンクなしのベースラインモデルと比較して、セッション単位のパフォーマンスが60.87%向上した。

ABSTRACT

Making chatbots world aware in a conversation like a human is a crucial challenge, where the world may contain dynamic knowledge and spatiotemporal state. Several recent advances have tried to link the dialog system to a static knowledge base or search engine, but they do not contain all the world information needed for conversations. In contrast, we propose a new method to improve the dialogue system using spatiotemporal aware dynamic knowledge. We utilize service information as a way for the dialogue system to link the world. The system actively builds a request according to the dialog context and spatiotemporal state to get service information and then generates world aware responses. To implement this method, we collect DuSinc, an open-domain human-human dialogue dataset, where a participant can access the service to get the information needed for dialogue responses. Through automatic and human evaluations, we found that service information significantly improves the consistency, informativeness, factuality, and engagingness of the dialogue system, making it behave more like a human. Compared to the pre-trained models without spatiotemporal aware dynamic knowledge, the overall session-level score was improved by 60.87\%. The collection dataset and methods will be open-sourced.

研究の動機と目的

• 事前学習言語モデルに内蔵された静的知識では、リアルタイムまたは場所に依存する世界情報にアクセスできないという限界を解消すること。
• 対話システムが人間が行うのと同様に、動的で空間的・時間的文脈に配慮した世界状態を認識し、それに応じた応答を行うこと。
• 対話生成に適切でタイムリーかつ簡潔かつ関連性の高い情報を得るために、サービスAPIを活用する汎用的な手法を開発すること。
• サービス情報リクエストと応答を含む、初めてのオープンドメイン中国語対話データセットDuSincを構築・公開すること。
• オープンドメイン対話における動的サービス知識を用いたクエリ生成と応答生成のベンチマークを確立すること。

提案手法

• システムは、対話文脈および現在時刻・場所に基づき、外部サービス情報が必要かどうかを動的に判断する。
• 産業用途のサービスAPI（例：天気、地図、株価、電卓）にアクセスする自然言語クエリを生成する。
• 取得したサービス情報を利用して、より情報に基づいた、一貫性があり事実に裏付けられた応答を生成する。
• 2名のアノテーターがUSERとBOTを演じる形で収集した新しいデータセットDuSincを用意した。BOTは、サービスデータをリクエストするタイミングを判断する必要がある。
• ベンチマークには2つのタスクが含まれる：(1) サービス情報の取得のためのクエリ生成、(2) 取得した知識を用いた応答生成。
• 複数の事前学習モデルを用いて評価し、モデルサイズや学習手法の違いに関係なく汎用性が確認された。

実験結果

リサーチクエスチョン

• RQ1 動的で空間的・時間的文脈に配慮したサービス情報は、オープンドメイン対話システムの一貫性および事実性の正確性を顕著に向上させることができるか？
• RQ2 静的知識ベースやWebページの取得と比較して、能動的なサービスクエリリングは対話品質にどのように影響するか？
• RQ3 リアルタイムのサービス知識を用いることで、未確認のトピックに対しても対話システムはどの程度一般化できるか？
• RQ4 動的サービス知識統合において、モデルサイズや学習戦略はパフォーマンスにどのような影響を及えるか？
• RQ5 サービスリクエストを含むヒューマン・ヒューマン対話データセットは、世界に配慮した対話システムの学習と評価の強力なベンチマークとして機能するか？

主な発見

• 提案手法は、動的ワールドリンクなしのベースラインモデルと比較して、全体のセッションレベルスコアを60.87%向上させた。
• 人的評価では、応答の一貫性、情報量、事実性、会話の魅力性の面で顕著な向上が確認された。
• サービス知識の動的性を活かしたため、未確認のトピックに対しても良好な一般化性能を示した。
• 簡潔で構造化されたサービス応答の使用は、ノイズが多く構造のないWebページの取得よりも、自動評価および人的評価の両方で優れた結果をもたらした。
• DuSincデータセットには2,500件以上のトピック、約10,000件の会話、50,000件のサービスリクエストが含まれており、サービス拡張付きの対話が可能な、初めてのオープンドメイン中国語対話データセットである。
• ベンチマークモデルは、動的サービス知識を用いたクエリ生成および応答生成の両タスクで、最先端のパフォーマンスを達成した。