[논문 리뷰] Recent advances in conversational NLP : Towards the standardization of Chatbot building

Maâli Mnasri|arXiv (Cornell University)|2019. 03. 21.

Speech and dialogue systems참고 문헌 38인용 수 39

한 줄 요약

본 논문은 현재의 챗봇 구축 접근법(rule-based, IR, ML, seq2seq, RL, 하이브리드)을 고찰하고, 챗봇을 분류하며, 평가를 다루고, CNLP 도구 및 프레임워크의 표준화를 주장한다.

ABSTRACT

Dialogue systems have become recently essential in our life. Their use is getting more and more fluid and easy throughout the time. This boils down to the improvements made in NLP and AI fields. In this paper, we try to provide an overview to the current state of the art of dialogue systems, their categories and the different approaches to build them. We end up with a discussion that compares all the techniques and analyzes the strengths and weaknesses of each. Finally, we present an opinion piece suggesting to orientate the research towards the standardization of dialogue systems building.

연구 동기 및 목표

• 대화 시스템 및 챗봇 아키텍처의 최첨단 현황을 평가한다.
• 챗봇을 사회적 및 태스크 지향 범주로 분류하고 일반형과 전문형으로 구분한다.
• rule-based와 데이터 기반 접근법 및 이들의 하이브리드의 강점과 약점을 비교한다.
• 챗봇 시스템의 평가 지표와 과제에 대해 논의한다.
• 표준화 및 상호 운용 가능한 CNLP 프레임워크에 대한 비전을 제안한다.

제안 방법

• 역사적 및 현대의 챗봇 접근법(rule-based, IR-based, ML-based, seq2seq, RL)의 검토 및 합성.
• 일반적인 아키텍처의 설명과 이것들이 다양한 챗봇 유형에 어떻게 사용되는지.
• 평가 지표(사람 평가, BLEU/ROUGE, perplexity, 튜링 테스트에서 영감을 받은 분류기)에 대한 논의.
• 다양한 사용 사례에 대한 강점/약점 및 적합성 분석.
• 연구를 가속하기 위한 표준화와 개방형 프레임워크에 대한 제안 비전.

실험 결과

연구 질문

• RQ1 오늘날 챗봇 구축에 사용되는 주요 카테고리와 아키텍처는 무엇인가?
• RQ2 rule-based 대 데이터 기반 접근법의 상대적 강점과 약점, 그리고 하이브리드의 강점과 약점은 무엇인가?
• RQ3 챗봇은 어떻게 평가되며 현재 지표의 한계는 무엇인가?
• RQ4 챗봇 개발을 위한 CNLP 연구 및 도구의 표준화를 위한 비전은 무엇인가?

주요 결과

• 규칙 기반 챗봇은 구현이 간단하고 기본 작업에 효과적이지만 복잡한 작업에는 확장이 어렵다.
• 데이터 기반 접근법(IR, seq2seq, RL)이 현재 챗봇 구축의 주류를 이루며 seq2seq는 엔드-투-엔드 생성을 가능하게 하고 RL은 장기 최적화를 가능하게 한다.
• 하이브리드 시스템은 다수 방법의 강점을 활용하기 위해 구성 요소를 결합한다(예: IR 검색 + seq2seq 생성, 또는 외부 지식이 포함된 seq2seq).
• 평가 방법에는 인간 판단과 BLEU, ROUGE, perplexity와 같은 자동 지표가 포함되며, 대화 맥락에서 각각의 제약이 있다.
• 재구현을 줄이고 진전을 가속하기 위해 표준화되고 상호운용 가능한 CNLP 프레임워크와 챗봇 엔진의 필요성이 있다.