[論文レビュー] Recent Advances in Deep Learning Based Dialogue Systems: A Systematic Survey

Jinjie Ni, Tom Young+3 more|arXiv (Cornell University)|May 10, 2021

Topic Modeling被引用数 36

ひとこと要約

深層学習ベースの対話システムの包括的な調査で、モデルをタイプ別およびシステムカテゴリ別に分析し、評価方法とデータセットを網羅し、将来動向への洞察を提供します。

ABSTRACT

Dialogue systems are a popular natural language processing (NLP) task as it is promising in real-life applications. It is also a complicated task since many NLP tasks deserving study are involved. As a result, a multitude of novel works on this task are carried out, and most of them are deep learning based due to the outstanding performance. In this survey, we mainly focus on the deep learning based dialogue systems. We comprehensively review state-of-the-art research outcomes in dialogue systems and analyze them from two angles: model type and system type. Specifically, from the angle of model type, we discuss the principles, characteristics, and applications of different models that are widely used in dialogue systems. This will help researchers acquaint these models and see how they are applied in state-of-the-art frameworks, which is rather helpful when designing a new dialogue system. From the angle of system type, we discuss task-oriented and open-domain dialogue systems as two streams of research, providing insight into the hot topics related. Furthermore, we comprehensively review the evaluation methods and datasets for dialogue systems to pave the way for future research. Finally, some possible research trends are identified based on the recent research outcomes. To the best of our knowledge, this survey is the most comprehensive and up-to-date one at present for deep learning based dialogue systems, extensively covering the popular techniques. We speculate that this work is a good starting point for academics who are new to the dialogue systems or those who want to quickly grasp up-to-date techniques in this area.

研究の動機と目的

• 対話システムにおける最先端の深層学習アプローチをレビューする。
• モデルタイプとシステムタイプの観点から対話モデルを分析する。
• 対話システム研究で用いられる評価手法とデータセットを調査する。
• 分野の新たな研究動向と潜在的な方向性を特定する。

提案手法

• ニューラルアーキテクチャを調査（CNNs、RNNs、seq2seq、HRED、メモリーネットワーク、アテンション、Transformer、GANs、KG拡張ネット）。
• 従来のタスク指向対話システムとエンドツーエンド型、オープンドメイン対話システムの比較を論じた。
• 対話システムの評価指標とデータセットをレビューした。
• 関連対話タスクとドメイン横断の関連性を統合して現在の手法を文脈づけた。
• ドメイン適応、効率化、制御可能な生成、マルチモーダル/対話グラウンディングを含む設定など、ホットトピックと潜在的な将来の方向性を特定した。

Figure 1 : The overall diagram of this article

実験結果

リサーチクエスチョン

• RQ1 タスク指向およびオープンドメイン対話システムで現在主に用いられている深層学習モデルは何か。
• RQ2 エンドツーエンドとモジュラー型パイプラインを含む、タスク指向およびオープンドメイン対話システムはどのように設計・最適化されているか。
• RQ3 対話システムを評価するために用いられる評価手法とデータセットは何か、そしてそれらの限界は何か。
• RQ4 深層学習ベースの対話システムに関する最近の文献が示唆する動向と将来の方向性は何か。

主な発見

• 本調査は対話システムにおける人気のあるニューラルアーキテクチャとその応用を総合的に扱っている。
• タスク指向とオープンドメイン対話システムのパラダイムと、それらのエンドツーエンド設計への進化を分析している。
• メモリーネットワーク、階層モデル、知識を活用したアプローチが、外部情報の取り込みのための主要な技術として強調されている。
• 対話システムの評価手法とデータセットエコシステムが要約され、今後のベンチマーク作成の指針となる。
• 著者らは、ドメイン適応、効率性の向上、制御可能な生成、マルチモーダル対話研究などの新たな動向を特定している。

Figure 2 : A CNN architecture for text classification (Zhang and Wallace, 2017 )