[논문 리뷰] Incremental Online Spoken Language Understanding.

Prashanth Gurunath Shivakumar, Naveen Kumar외 2명|arXiv (Cornell University)|2019. 10. 23.

Speech and dialogue systems참고 문헌 16인용 수 4

한 줄 요약

이 논문은 실시간으로 ASR 전사문을 처리하는 RNN 기반의 증분형 구두 언어 이해 시스템을 제안한다. 이 시스템은 정확도를 희생시키지 않은 채 지연을 줄인다. 문장 분할을 위한 EOS 검출기와 조기 의도 검출 기능을 도입함으로써, 오프라인 방법보다 낮은 지연을 달성하면서도 스트리밍 조건 하에서 ATIS 데이터셋에서 높은 의도 분류 성능을 유지를 한다.

ABSTRACT

Spoken Language Understanding (SLU) typically comprises of an automatic speech recognition (ASR) followed by a natural language understanding (NLU) module. The two modules process signals in a blocking sequential fashion, i.e., the NLU often has to wait for the ASR to finish processing on an utterance basis, potentially leading to high latencies that render the spoken interaction less natural. In this paper, we propose recurrent neural network (RNN) based incremental processing towards the SLU task of intent detection. The proposed methodology offers lower latencies than a typical SLU system, without any significant reduction in system accuracy. We introduce and analyze different recurrent neural network architectures for incremental and online processing of the ASR transcripts and compare it to the existing offline systems. A lexical End-of-Sentence (EOS) detector is proposed for segmenting the stream of transcript into sentences for intent classification. Intent detection experiments are conducted on benchmark ATIS dataset modified to emulate a continuous incremental stream of words with no utterance demarcation. We also analyze the prospects of early intent detection, before EOS, with our proposed system.

연구 동기 및 목표

• ASR 전사문의 온라인 증분 처리를 통해 구두 언어 이해에서 지연을 줄이기.
• 기존 SLU 시스템이 전체 발화 완료를 기다리는 블로킹 방식의 문제를 해결하기.
• 의도 분류를 위한 연속된 음성 스트림을 문장으로 분할하기 위해 어휘 기반의 문장 종료(EOS) 검출기 개발하기.
• 전체 문장 완료 이전에 조기 의도 검출을 가능하게 하여 실시간 상호작용에서의 반응성 향상하기.
• 스트리밍 조건 하에서 ATIS 벤치마크를 사용하여 증분형 SLU의 지연과 정확도 간의 트레이드오프 평가하기.

제안 방법

• RNN을 사용하여 ASR 전사문을 증분적으로 처리함으로써, 단어가 스트리밍되는 동안 실시간으로 의도 검출이 가능하도록 하기.
• 연속된 음성 스트림에서 문장 경계를 식별하기 위해 어휘 기반의 문장 종료(EOS) 검출기를 도입하여 적시 의도 분류 가능하게 하기.
• 실제 증분 처리 평가를 위해 연속적이고 발화 없이 단어가 흐르는 스트림을 시뮬레이션하기 위해 ATIS 데이터셋을 수정하기.
• 증분 처리를 위한 RNN 아키텍처를 훈련 및 평가하고, 지연과 정확도 측면에서 표준 오프라인 시스템과 비교하기.
• 부분 입력 시퀀스 기반으로 EOS 신호 도착 이전에 의도를 분류함으로써 조기 의도 검출을 구현하기.
• 의도 예측이 충분한 맥락이 확보된 즉시 이루어지는 스트리밍 추론 파이프라인을 구현하여 지연 최소화하기.

실험 결과

연구 질문

• RQ1 증분형 RNN 기반 처리 방식이 의도 검출 정확도를 떨어뜨리지 않고도 구두 언어 이해에서 지연을 줄일 수 있는가?
• RQ2 어휘 기반 EOS 검출기가 실시간으로 의도 분류를 위한 연속된 음성 스트림을 분할하는 데 얼마나 효과적인가?
• RQ3 완전한 문장 완료 이전에 얼마나 빠르게 의도 검출을 수행할 수 있으며, 이를 통해 유지 가능한 정확도 수준은 어느 정도인가?
• RQ4 다양한 RNN 아키텍처가 증분 처리 환경에서 표준 오프라인 모델과 비교해 어떻게 성능을 내는가?
• RQ5 증분형 SLU 시스템에서 지연 감소와 정확도 간의 트레이드오프는 어떻게 나타나는가?

주요 결과

• 제안된 증분형 RNN 시스템은 전통적인 오프라인 SLU 시스템보다 유의미하게 낮은 지연을 달성하면서도 유사한 의도 검출 정확도를 유지한다.
• 어휘 기반 EOS 검출기가 연속 스트림에서 문장 경계를 효과적으로 식별하여 적시 의도 분류를 가능하게 한다.
• 조기 의도 검출은 실현 가능하며, 시스템은 전체 문장 수신 이전에 신뢰할 수 있는 예측을 생성할 수 있다.
• 증분형 RNN 접근법은 부분적으로 수신된 발화를 처리할 때도 높은 정확도를 유지하여 불완전한 입력에 대한 강건성을 보여준다.
• 다양한 RNN 아키텍처는 증분 환경에서 서로 다른 성능을 보이며, 일부 아키텍처는 다른 것들보다 더 우수한 지연-정확도 트레이드오프를 제공한다.
• 시스템은 정확도가 다소 떨어지더라도 표준 오프라인 기반 모델보다 지연 측면에서 뛰어난 성능을 보이며, 실시간 응용 프로그램에 유리한 트레이드오프를 제공한다.