[논문 리뷰] Just ASK: Building an Architecture for Extensible Self-Service Spoken Language Understanding

Anjishnu Kumar, Arpit Gupta외 10명|arXiv (Cornell University)|2017. 11. 01.

Topic Modeling참고 문헌 31인용 수 56

한 줄 요약

다음은 확장 가능하고 자기 주도적 개발이 가능한 음성 기술 확장, 모델 이전 가능성을 가진 Alexa Skills Kit (ASK) SLU 아키텍처의 설계와 구성요소를 설명합니다.

ABSTRACT

This paper presents the design of the machine learning architecture that underlies the Alexa Skills Kit (ASK) a large scale Spoken Language Understanding (SLU) Software Development Kit (SDK) that enables developers to extend the capabilities of Amazon's virtual assistant, Alexa. At Amazon, the infrastructure powers over 25,000 skills deployed through the ASK, as well as AWS's Amazon Lex SLU Service. The ASK emphasizes flexibility, predictability and a rapid iteration cycle for third party developers. It imposes inductive biases that allow it to learn robust SLU models from extremely small and sparse datasets and, in doing so, removes significant barriers to entry for software developers and dialogue systems researchers.

연구 동기 및 목표

• Third-party 개발자를 활성화하고 Alexa 스킬 배포를 가속하기 위한 자기 주도형 SLU 아키텍처의 필요성에 동기를 부여한다.
• 유연성, 사용자 경험, 빠른 반복, 모델 배포 가능성을 균형 있게 고려한 설계 고려사항을 제시한다.
• Alexa Meaning Representation Language와 내장 의도/슬롯 타입이 데이터 자원의 재사용을 어떻게 지원하는지 설명한다.
• 연구 실험과 운영 배치를 연결하기 위한 BlueFlow 인프라를 소개한다.
• ASK 내에서 스킬 정의에서 질의 처리 및 대화 관리까지의 워크플로우를 개요화한다.

제안 방법

• 의도와 슬롯을 기반으로 하는 API-대면 인터페이스를 갖춘 모듈식으로 분리된 SLU 아키텍처를 제안한다.
• 재사용 가능한 액션, 엔티티, 속성을 정의하기 위해 AlexaMRL을 사용하여 스킬 온톨로지에 매핑한다.
• 개발자 문법과 샘플 발화를 통해 생성된 가중치가 부여된 상태전이류(WFST)로 ASR과 NLU를 표현한다.
• 데이터/리소스, 표현 공간, 특성 레벨 기술을 통해 소규모 데이터 환경을 가능하게 하는 전달 학습 및 데이터 자원 학습을 활용한다.
• 데이터 흐름 관리, 실험 및 운영 배치를 CLI-서버 보장을 갖춘 파이썬 기반 DSL로 BlueFlow를 채택한다.
• 지식 기반 기능, 배치를 위한 모델 최적화 및 결정적 + 확률적 구성요소를 포함한 하이브리드 NLU 파이프라인을 도입한다.

실험 결과

연구 질문

• RQ1 수천 개의 제3자 스킬을 지원하면서도 1st-party 사용자 경험의 질을 보존하도록 자기 주도형 SLU 프레임워크를 어떻게 설계할 수 있는가?
• RQ2 생산 규모의 시스템에서 SLU 모델의 빠른 반복과 배치를 가능하게 하는 표현과 도구는 무엇인가?
• RQ3 내장 리소스(의도 스키마, 슬롯 타입, AlexaMRL)를 재사용하여 신규 스킬의 데이터 요구를 줄일 수 있는 방법은 무엇인가?
• RQ4 연구 실험과 운영 배치를 가장 잘 연결하는 인프라 및 데이터 흐름 추상화는 무엇인가?
• RQ5 지식 주입과 전달 학습이 데이터가 적은 환경에서 SLU 성능을 어떻게 향상시킬 수 있는가?

주요 결과

• ASK 아키텍처는 ASK 플랫폼을 통해 25,000개 이상의 스킬을 구동합니다(2017년 기준).
• 모듈식이고 분리된 설계는 사용자 경험에 해를 끼치지 않으면서 구성 요소의 빠른 반복과 독립적인 업데이트를 가능하게 합니다.
• AlexaMRL은 온톨로지 기반의 액션과 엔티티 재사용을 가능하게 하여 의미 롤을 도출하고 신규 스킬의 데이터 요구를 줄입니다.
• WFST 기반의 ASR 및 NLU 표현은 결정론적 문법 기반 인식과 확률적 모델을 함께 지원하여 예측 가능하면서도 유연한 구문 분석을 가능하게 합니다.
• BlueFlow는 연구자와 운영 간의 실험 및 배포를 효율적으로 지원하는 공유 프레임워크를 제공하며, 산출물은 S3에 저장되고 런타임 데이터는 DynamoDB에 저장됩니다.