[論文レビュー] Recent advances in conversational NLP : Towards the standardization of Chatbot building

Maâli Mnasri|arXiv (Cornell University)|Mar 21, 2019

Speech and dialogue systems参考文献 38被引用数 39

ひとこと要約

本論文は現在のチャットボット構築手法（ルールベース、IR、機械学習、seq2seq、強化学習、ハイブリッド）を調査し、チャットボットを分類し、評価を論じ、CNLPツールとフレームワークの標準化を主張する。

ABSTRACT

Dialogue systems have become recently essential in our life. Their use is getting more and more fluid and easy throughout the time. This boils down to the improvements made in NLP and AI fields. In this paper, we try to provide an overview to the current state of the art of dialogue systems, their categories and the different approaches to build them. We end up with a discussion that compares all the techniques and analyzes the strengths and weaknesses of each. Finally, we present an opinion piece suggesting to orientate the research towards the standardization of dialogue systems building.

研究の動機と目的

• 対話システムとチャットボットアーキテクチャの最先端を評価する。
• チャットボットを社会的（ソーシャル）とタスク指向のカテゴリ、および汎用型と専門型に分類する。
• ルールベースとデータ駆動型アプローチ、およびそれらのハイブリッドの長所と短所を比較する。
• チャットボットシステムの評価指標と課題について論じる。
• 標準化と相互運用可能な CNLP フレームワークのビジョンを提案する。

提案手法

• 歴史的および現代のチャットボット手法（ルールベース、IRベース、MLベース、seq2seq、RL）のレビューと統合。
• 一般的なアーキテクチャの説明と、さまざまなチャットボットタイプにどのように適用されるか。
• 評価指標（人間評価、BLEU/ROUGE、 perplexity、チューリングテストに触発された分類器）についての議論。
• 長所/短所の分析と、さまざまなユースケースへの適合性。
• 研究を加速するための標準化とオープンフレームワークの提案。

実験結果

リサーチクエスチョン

• RQ1 現在、チャットボットを構築する際の主なカテゴリとアーキテクチャは何ですか？
• RQ2 ルールベースとデータ駆動型アプローチ、そしてハイブリッドの相対的な長所と短所は何ですか？
• RQ3 チャットボットはどのように評価され、現在の指標の限界は何ですか？
• RQ4 チャットボット開発のための CNLP 研究とツールの標準化に向けて、どのようなビジョンが提案されていますか？

主な発見

• ルールベースのチャットボットは実装が簡単で基本的なタスクには効果的だが、複雑なタスクにはスケールしにくい。
• データ駆動型アプローチ（IR、seq2seq、RL）が現在のチャットボット構築を支配しており、seq2seqがエンドツーエンド生成を提供し、RLが長期的最適化を可能にする。
• ハイブリッドシステムは、複数の手法の長所を活用するために、（例：IR検索とseq2seq生成、または外部知識を持つseq2seq）などのコンポーネントを組み合わせる。
• 評価手法には人間の判断と、BLEU、ROUGE、perplexity のような自動指標が含まれ、対話文脈ではそれぞれ制約がある。
• 再実装を減らし、進歩を加速するための標準化され、相互運用可能な CNLP フレームワークとチャットボットエンジンの必要性がある。