[논문 리뷰] Incrementalizing RASA's Open-Source Natural Language Understanding Pipeline

Andrew Rafla, Casey Kennington|arXiv (Cornell University)|2019. 07. 11.

Topic Modeling참고 문헌 12인용 수 13

한 줄 요약

이 논문은 RASA의 오픈소스 NLU 파이프라인에 대해 단어별로 입력을 처리할 수 있도록 구성 요소를 수정하여 ADD 및 REVOKE 연산을 포함하는 증분 단위(Incremental Unit, IU) 프레임워크를 적용한 증분 처리를 제안한다. 업데이트 기반 증분(SIUM) 및 재시작 기반 증분(TensorFlow Embeddings) 모델을 모두 구현하여, Snips 데이터셋에서 증분 처리가 비증분 기준선과 동등한 성능을 달성함을 입증함으로써 그 실현 가능성과 정확성을 검증한다.

ABSTRACT

As spoken dialogue systems and chatbots are gaining more widespread adoption, commercial and open-sourced services for natural language understanding are emerging. In this paper, we explain how we altered the open-source RASA natural language understanding pipeline to process incrementally (i.e., word-by-word), following the incremental unit framework proposed by Schlangen and Skantze. To do so, we altered existing RASA components to process incrementally, and added an update-incremental intent recognition model as a component to RASA. Our evaluations on the Snips dataset show that our changes allow RASA to function as an effective incremental natural language understanding service.

연구 동기 및 목표

• 사용자 발화를 단어 단위로 증분적으로 처리할 수 있도록 RASA의 NLU 파이프라인을 기능화하여 대화 시스템의 자연스러움과 반응성 향상.
• 기존 NLU 도구들이 전반적인 발화를 처리하는 방식으로 실시간 사용자 상호작용을 제한하는 증분 처리의 부재를 해결.
• IU 프레임워크를 활용해 증분 처리를 지원하기 위해 RASA의 오픈소스 프레임워크에 새로운 구성 요소를 추가하고 기존 구성 요소를 수정.
• 정확성과 성능을 검증하기 위해 증분 구현체를 비증분 기준선과 비교하여 의도 및 엔티티 인식 정확도가 동일한지 평가.

제안 방법

• ADD 및 REVOKE 연산을 사용하여 증분적으로 입력을 처리할 수 있도록 토크나이저, CRF 엔티티 추출기, Bag-of-Words 피처라이저 등의 RASA 구성 요소를 수정.
• 각 새로운 단어 도착 시마다 발화 접두어를 전체 발화로 간주하여 재학습하는 재시작 기반 증분 TensorFlow Embeddings 모델을 구현.
• 내부 상태를 유지하고 베이지안 업데이트를 통해 의도 분포를 증분적으로 갱신하는 업데이트 기반 증분 SIUM 모델을 설계.
• ASR나 대화 관리자와 같은 어떤 구성 요소라도 발화 완료를 신호로 보낼 수 있도록 융통성 있는 발화 종료 신호 전달 메커니즘을 추가.
• 증분 처리를 시뮬레이션하고 ADD/REVOKE 동작의 정확성을 검증하기 위해 IncrementalInterpreter를 사용하여 잘못된 단어를 삽입하고 이후에 이를 취소하는 실험 수행.
• Snips 데이터셋의 700개 발화 서브셋을 대상으로 의도 및 엔티티 F1 스코어를 사용해 증분 및 비증분 버전을 비교 평가.

실험 결과

연구 질문

• RQ1 RASA의 NLU 파이프라인이 의도 및 엔티티 인식 정확도를 유지하면서도 단어별로 증분 처리할 수 있는가?
• RQ2 실제 NLU 파이프라인에 적용했을 때 업데이트 기반 증분과 재시작 기반 증분 접근 방식의 성능는 어떻게 비교되는가?
• RQ3 ADD/REVOKE 메커니즘이 오류 상황에서도 의도 및 엔티티 인식의 정확성을 유지하는가?
• RQ4 증분 처리가 적용된 RASA 파이프라인은 실시간 ASR 입력을 받는 라이브 대화 시스템에서 사용 가능한가? 비증분 처리와 비교해 어떻게 다를까?

주요 결과

• 증분 처리된 RASA 파이프라인은 ADD 및 REVOKE 연산을 정확히 처리하며, 삽입된 잘못된 단어 이후에 이를 취소하는 경우, 그 단어가 삽입되지 않은 것과 동일한 출력을 생성함을 입증.
• 증분 버전의 의도 및 엔티티 인식 F1 스코어가 비증분 기준선과 1% 이내로 수렴하여 성능 저하가 거의 없음을 확인.
• 재시작 기반 증분 TensorFlow Embeddings 모델은 각 발화 접두어에서 다시 의도 분포를 평가하여 전체 문장 처리와 일관성을 유지함.
• 업데이트 기반 증분 SIUM 모델은 베이지안 업데이트를 통해 의도 분포를 효과적으로 증분적으로 유지 및 갱신하여 실시간 추론을 지원함.
• 구현체는 RASA의 모듈식 파이프라인 아키텍처와 성공적으로 통합되어 다수의 구성 요소가 동기화된 방식으로 증분 처리를 수행함.
• 결과적으로 증분 처리는 정확도를 희생시키지 않고 RASA와 같은 오픈소스 NLU 시스템에 구현 가능하며, 더 자연스럽고 반응성이 뛰어난 대화 시스템을 가능하게 함을 확인.