[논문 리뷰] Snips Voice Platform: an embedded Spoken Language Understanding system for private-by-design voice interfaces

Alice Coucke, Alaa Saade외 10명|arXiv (Cornell University)|2018. 05. 25.

Context-Aware Activity Recognition Systems인용 수 355

한 줄 요약

이 논문은 IoT 하드웨어에서 작동하는 오프라인, 개인 정보 보호를 기본으로 하는 SLU 플랫폼을 제시한다. 컴팩트한 NN/HMM 음향 모델과 로컬 디바이스 내 개인화를 갖춘 도메인 적응형 동적 언어 모델을 활용한다.

ABSTRACT

This paper presents the machine learning architecture of the Snips Voice Platform, a software solution to perform Spoken Language Understanding on microprocessors typical of IoT devices. The embedded inference is fast and accurate while enforcing privacy by design, as no personal user data is ever collected. Focusing on Automatic Speech Recognition and Natural Language Understanding, we detail our approach to training high-performance Machine Learning models that are small enough to run in real-time on small devices. Additionally, we describe a data generation procedure that provides sufficient, high-quality training data without compromising user privacy.

연구 동기 및 목표

• 음성 인터페이스에서 클라우드로 사용자 데이터를 전송하지 않는 프라이버시를 설계에 반영하는 동기를 부여한다.
• small devices에서 실시간으로 실행되는 엔드-투-엔드 SLU 파이프라인(ASR + NLU)을 개발한다.
• 임베디드 하드웨어에 적합한 컴팩트 음향 모델과 도메인 적응된 언어 모델을 훈련한다.
• 데이터를 유출하지 않으면서 로컬에서의 개인화 및 언어 모델의 효율적 훈련/업데이트를 가능하게 한다.

제안 방법

• 일반 음성 데이터를 사용하여 데이터 증강으로 노이즈 및 반향 조건을 시뮬레이션한 컴팩트 NN/HMM 음향 모델을 구축한다.
• 공유 데이터셋에서 일반화를 위한 엔티티를 추상화하는 도메인 중심 LM과 대응하는 NLU 모델을 훈련한다.
• 런타임 디코딩 그래프를 디바이스 내 메모리 제약에 맞게 형성하기 위해 트랜스듀서(HCLG)의 동적, 게으른 조합을 사용한다.
• 사용자 데이터를 전송하지 않고도 LM을 개인화하기 위한 디바이스 내 엔티티 주입 구현을 한다.
• 혼동 네트워크를 기반으로 한 자신감 점수 메커니즘을 도입하여 어휘 외(OOV) 단어를 탐지하고 엔드-투-엔드 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 저자 데이터가 클라우드로 전송되지 않는 프라이버시를 유지하면서 오프라인으로 SLU를 구현하는 방법은 무엇인가?
• RQ2 도메인 적응 LM/NLU 통합이 임베디드 어시스턴트의 엔드투엔드 음성-의미 정확도에 미치는 영향은 무엇인가?
• RQ3 온디바이스 개인화(엔티티 주입)가 클라우드 데이터 전송 없이 효율적으로 수행될 수 있는가?
• RQ4 라즈베리 파이 3와 같은 기기에서 컴팩트 음향 모델이 정확도, 속도, 메모리 간의 균형을 어떻게 맞추는가?

주요 결과

• 라즈베리 파이 3에서 실시간으로 실행되는 임베디드 SLU 파이프라인은 컴팩트 NN/HMM 음향 모델(nnet-256)과 맞춤 LM으로 달성 가능하다.
• 도메인 적응 LM/NLU 통합은 타깃 사용 사례에서 엔드투엔드 정확도를 높여 더 작은 음향 모델을 보상한다.
• 작은 모델(nnet-256)은 더 큰 변형(nnet-768)보다 매개변수 수와 메모리 요구가 크게 낮으면서도 적응형 LM 및 강력한 NLU와 함께 유효한 정확도를 제공한다.
• 온디바이스 엔티티 주입을 통한 개인화는 수 초에서 수십 초 이내에 가능하여 클라우드 데이터 없이 사용자별 어휘 업데이트를 가능하게 한다.
• 혼동-네트워크 기반의 신뢰도 점수는 OOV 단어를 식별하는 데 도움이 되어 엔드투 엔드 SLU 시스템의 강건성을 향상시킨다.