[論文レビュー] Deep Learning Based Chatbot Models

Richárd Csáky|arXiv (Cornell University)|Aug 23, 2019

Topic Modeling参考文献 114被引用数 39

ひとこと要約

この論文はチャットボットへの最近の深層学習アプローチを概観し、エンコーダ-デコーダ/Transformerベースの手法を分析し、オープンドメインの対話生成を改善するためにムードやペルソナなどの先験情報を取り入れることを提案する。

ABSTRACT

A conversational agent (chatbot) is a piece of software that is able to communicate with humans using natural language. Modeling conversation is an important task in natural language processing and artificial intelligence. While chatbots can be used for various tasks, in general they have to understand users' utterances and provide responses that are relevant to the problem at hand. In my work, I conduct an in-depth survey of recent literature, examining over 70 publications related to chatbots published in the last 3 years. Then, I proceed to make the argument that the very nature of the general conversation domain demands approaches that are different from current state-of-of-the-art architectures. Based on several examples from the literature I show why current chatbot models fail to take into account enough priors when generating responses and how this affects the quality of the conversation. In the case of chatbots, these priors can be outside sources of information that the conversation is conditioned on like the persona or mood of the conversers. In addition to presenting the reasons behind this problem, I propose several ideas on how it could be remedied. The next section focuses on adapting the very recent Transformer model to the chatbot domain, which is currently state-of-the-art in neural machine translation. I first present experiments with the vanilla model, using conversations extracted from the Cornell Movie-Dialog Corpus. Secondly, I augment the model with some of my ideas regarding the issues of encoder-decoder architectures. More specifically, I feed additional features into the model like mood or persona together with the raw conversation data. Finally, I conduct a detailed analysis of how the vanilla model performs on conversational data by comparing it to previous chatbot models and how the additional features affect the quality of the generated responses.

研究の動機と目的

• 過去3年間のチャットボットに関する70件を超える公開論文を調査・統合する。
• 標準的なアーキテクチャを超える先验知識がオープン-domain会話には必要であると主張する。
• ダイアログデータセット上でTransformerベースのチャットボットを実験的に訓練し、性能を評価する。
• ムード、ペルソナなどの先验知識を組み込むアイデアを提案して応答品質を向上させる。

提案手法

• エンコーダ-デコーダおよびTransformerモデルを含む歴史的および現代的なチャットボット文献をレビューする。
• seq2seqフレームワークにおけるデータ前処理、単語埋め込み、語彙処理を説明する。
• Cornell Movie-Dialog CorpusおよびOpenSubtitlesコーパス上でTransformerベースのチャットボットを実験的に訓練する。
• ムードやペルソナなどの追加入力をエンコーダ-デコーダモデルに組み込む。
• ベースラインのTransformerの性能を従来のチャットボットモデルと比較し、先验知識の影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 現行のニューラルチャットボットアーキテクチャのオープンドメイン会話における限界は何か。
• RQ2 Transformerベースのアーキテクチャはチャットボット設定に効果的に適応できるか。
• RQ3 ムードやペルソナなどの先验知識は生成された応答の品質と関連性を改善するか。
• RQ4 文脈と会話履歴はTransformerベースのチャットボットにどのように影響するか。
• RQ5 知識ベースと文脈情報をチャットボットに組み込むための効果的な戦略は何か。

主な発見

• TransformerベースのチャットボットはCornellおよびOpenSubtitlesコーパスのような対話データセットで訓練可能である。
• 追加の入力（ムード、ペルソナ）は応答の関連性と自然さを向上させる可能性がある。
• 文脈と会話履歴はエンコードに課題をもたらし、階層的またはメモリ中心の戦略を必要とする。
• 従来の指標（BLEU、困惑度）だけでは人間の判断と必ずしも一致せず、対話モデルの評価は依然として複雑である。
• 研究は訓練設定と先行するチャットボットモデルとの定性的比較について論じる。
• 将来の課題として損失関数の問題、時系列条件づけ、対話システムのメモリの取り扱いに対処する方法を概説する。