[論文レビュー] Augmenting End-to-End Dialog Systems with Commonsense Knowledge

Tom Young, Erik Cambria+4 more|arXiv (Cornell University)|Sep 16, 2017

Topic Modeling被引用数 29

ひとこと要約

本稿では、エンドツーエンドの検索ベースの対話システムに、ConceptNetからの外部の一般常識知識をLSTMベースのメモリエンコーダーを用いて統合することで、応答選択の性能を向上させる手法を提案する。メッセージの内容と関連する一般常識的主張を最大プーリングを用いて同時にエンコードすることで、知識なしのベースラインと比較して顕著な向上が得られ、Recall@1は32.6%のTF-IDFベースラインと比べて77.5%に達する。

ABSTRACT

Building dialog agents that can converse naturally with humans is a challenging yet intriguing problem of artificial intelligence. In open-domain human-computer conversation, where the conversational agent is expected to respond to human responses in an interesting and engaging way, commonsense knowledge has to be integrated into the model effectively. In this paper, we investigate the impact of providing commonsense knowledge about the concepts covered in the dialog. Our model represents the first attempt to integrating a large commonsense knowledge base into end-to-end conversational models. In the retrieval-based scenario, we propose the Tri-LSTM model to jointly take into account message and commonsense for selecting an appropriate response. Our experiments suggest that the knowledge-augmented models are superior to their knowledge-free counterparts in automatic evaluation.

研究の動機と目的

• 外部の一般常識知識をメモリコンponentとして統合することで、オープンドメインの雑談対話システムの性能を向上させること。
• メッセージの内容のみに依存するのではなく、一般常識知識が検索ベースのモデルにおける応答選択をどのように向上させるかを調査すること。
• エンドツーエンドの対話システムにおいて、大規模で多様な一般常識知識ベース（ConceptNet）を効果的に活用できるかを検討すること。
• 単に単語埋め込みや注目メカニズムに依存するのではなく、一般常識的主張を明示的にエンコードすることでモデル性能が向上するかを評価すること。
• 今後の感情的知能を向上させるための感情的および事実的知識の統合の基盤を築くこと。

提案手法

• モデルは二重エンコーダー構造を採用しており、メッセージのエンコーディング用と一般常識的主張のエンコーディング用にそれぞれ別々のBi-LSTMを用いる。
• メッセージに関連する一般常識的主張はキーワードベースの照合によりConceptNetから取得され、LSTMエンコーダーを用いてベクトル表現に変換される。
• 最終的な文脈表現は、エンコードされた主張の最大プーリングにより得られ、それらがメッセージ表現と共同で統合され、応答スコアリングに用いられる。
• 検索ベースの設定では、文脈ベクトルと候補応答との間のドット積類似度スコアを用いて、候補プールから最良の応答が選択される。
• モデルはマージンベースのランキング損失を用いてエンドツーエンドで学習され、正例の応答が負例よりも高いスコアになるように最適化される。
• 使用された知識ベースはConceptNetであり、一般的な概念間の多様な意味的関係（例：IsA、RelatedTo）を提供する。

実験結果

リサーチクエスチョン

• RQ1 外部の一般常識知識は、メッセージの内容のみに依存するのではなく、検索ベースの対話システムにおける応答選択を向上させることができるか？
• RQ2 大規模な一般常識知識ベース（例：ConceptNet）の統合は、応答の関連性および多様性を向上させるためにどの程度有効か？
• RQ3 LSTMエンコーダーによる一般常識的主張の明示的エンコードは、単語埋め込みや注目メカニズムに依存するモデルよりも優れているか？
• RQ4 オープンドメイン対話において、曖昧または情報が乏しいメッセージの内容に対して、一般常識知識はどの程度補完的役割を果たすか？
• RQ5 人間のベースラインと比較して、モデルの性能はどの程度の応答適切性を選択できるか？

主な発見

• 知識拡張型のデュアル-LSTMモデルは、Recall@1が77.5%に達し、TF-IDFベースライン（32.6%）および単語埋め込みベースライン（73.5%）を著しく上回った。
• より複雑なエンコーダーを用いたTri-LSTMモデルも、Recall@1が77.5%を達成しており、より深いエンコーディングが単純なモデルよりも性能向上に寄与することが示された。
• 事例研究では、「bonjour, IsA, hello_in_french」と「pink, RelatedTo, colour」のような一般常識的主張が、曖昧または文化的に繊細なメッセージにおいて正しく応答を選択可能にした。
• 一般常識知識が本質的でない状況では、両モデルの性能は類似しており、メモリモジュールが関連する知識が必要な場合にのみ活性化されることを示唆している。
• モデルは、明示的なメモリがなくても、単語埋め込みを通じて一部の一般常識知識を暗黙的に捉えることができるが、明示的な統合によりより信頼性が高く一貫性のある結果が得られることを示した。
• 人間の性能は同じタスクで87.0%のRecall@1を達成しており、モデルは顕著な向上を示しているが、人間レベルの理解に到達するにはまだギャップが存在することが示された。