[論文レビュー] A Survey of Natural Language Generation Techniques with a Focus on Dialogue Systems - Past, Present and Future Directions

Sashank Santhanam, Samira Shaikh|arXiv (Cornell University)|Jun 2, 2019

Topic Modeling参考文献 129被引用数 34

ひとこと要約

本論は、伝統的手法から深層学習までの自然言語生成（NLG）の方法を概観し、オープンドメイン対話システムに焦点を当て、三つの重要な将来方向を示す：より大きな文脈、ペルソナ、退屈な応答を避けること。認知アーキテクチャの観点から。

ABSTRACT

One of the hardest problems in the area of Natural Language Processing and Artificial Intelligence is automatically generating language that is coherent and understandable to humans. Teaching machines how to converse as humans do falls under the broad umbrella of Natural Language Generation. Recent years have seen unprecedented growth in the number of research articles published on this subject in conferences and journals both by academic and industry researchers. There have also been several workshops organized alongside top-tier NLP conferences dedicated specifically to this problem. All this activity makes it hard to clearly define the state of the field and reason about its future directions. In this work, we provide an overview of this important and thriving area, covering traditional approaches, statistical approaches and also approaches that use deep neural networks. We provide a comprehensive review towards building open domain dialogue systems, an important application of natural language generation. We find that, predominantly, the approaches for building dialogue systems use seq2seq or language models architecture. Notably, we identify three important areas of further research towards building more effective dialogue systems: 1) incorporating larger context, including conversation context and world knowledge; 2) adding personae or personality in the NLG system; and 3) overcoming dull and generic responses that affect the quality of system-produced responses. We provide pointers on how to tackle these open problems through the use of cognitive architectures that mimic human language understanding and generation capabilities.

研究の動機と目的

• 伝統的アプローチから深層学習手法までの自然言語生成（NLG）の概要を提供する。
• オープンドメイン対話システムをNLGの重要な応用として検討する。
• より一貫性があり、文脈をawareで個別化された対話生成の研究ギャップを特定し、将来の方向性を提案する。
• 認知アーキテクチャが対話のNLGの現在の制限にどう対処できるかを論じる。

提案手法

• 伝統的なNLGアーキテクチャとそのサブコンポーネント（コンテンツ決定、文書構造化、語彙化、参照表現生成、文の結合、言語実現）をレビューする。
• ニューラルモデル以前の内容選択と実現に用いられた統計的および規則ベースの手法を検討する。
• 深層学習アプローチ（言語モデル、エンコーダ–デコーダ/seq2seq、アテンション、メモリネットワーク、トランスフォーマーベースの手法）と対話システムへの影響を調査する。
• 文脈エンコードの欠如、一般的な応答、ペルソナ欠如など、対話生成の永続的な課題を強調する。
• 将来の方向性と認知アーキテクチャに着想を得た解決策の統合を提供する。

実験結果

リサーチクエスチョン

• RQ1 対話システムの自然言語生成における歴史的・現代的な主要アプローチは何か。
• RQ2 対話システムを実現するうえでオープンドメイン対話システムを妨げる主要な研究ギャップは何か。
• RQ3 将来のNLGシステムはより大きな文脈と世界知識をどう取り入れられるか、ペルソナや個性を対話品質向上のためにどう統合できるか。
• RQ4 認知アーキテクチャは現在の対話のNLGの制限にどう対処できるか。

主な発見

• Seq2seqモデルと言語モデルが現在の対話システムアプローチを支配している。
• 三つの主要な将来方向が特定されている：より大きな文脈と世界知識の組み込み、-personaeや個性の統合、退屈で一般的な応答の克服。
• オープンな課題には、より広い対話文脈のエンコード、整合したペルソナの維持、より魅力的で文脈的に関連する応答の生成が含まれる。
• この調査は、人間の言語理解と生成を模倣する認知アーキテクチャを探求し、基礎的な課題に対処することを提案している。
• 従来のNLGコンポーネント（コンテンツ決定、構造化、語彙化、REG、結合、実現）はニューラルアプローチを理解・整理するうえで依然として関連性がある。