[논문 리뷰] Intelligent Assistant Language Understanding On Device

Cecilia Aas, Hisham M. Abdelsalam외 21명|arXiv (Cornell University)|2023. 08. 07.

AI in Service InteractionsComputer Science인용 수 3

한 줄 요약

이 논문은 개인 디지털 어시스턴트를 위한 현장에서 실행되는 자연어 이해(NLU) 시스템을 제안하며, 사용자 요청을 현장에서 처리하여 프라이버시, 속도, 정확도를 향상시킵니다. 이 시스템은 희석된, 양자화된 BERT 기반 임bedding 모델, 계층적 온톨로지 기반 의미 표현을 갖춘 순서에서 순서로의 파서, 개인 및 지식 기반 질의를 위한 피어드 페어링 파서를 사용하며, 실제 영향을 고려한 새로운 평가 파이프라인을 통해 최소한의 사용자 영향을 받는 오류로 높은 종단 간 정확도를 달성합니다.

ABSTRACT

It has recently become feasible to run personal digital assistants on phones and other personal devices. In this paper we describe a design for a natural language understanding system that runs on device. In comparison to a server-based assistant, this system is more private, more reliable, faster, more expressive, and more accurate. We describe what led to key choices about architecture and technologies. For example, some approaches in the dialog systems literature are difficult to maintain over time in a deployment setting. We hope that sharing learnings from our practical experiences may help inform future work in the research community.

연구 동기 및 목표

• 메시징 및 알림과 같은 개인 요청을 위한 서버 기반 처리에 의존도를 줄이기 위해 기밀성 보장, 현장에서 실행되는 NLU 시스템을 설계하는 것.
• 대화 시스템의 확장성 및 유지보수 문제를 해결하기 위해 종단 간 학습을 피하고 모듈형, 조합 가능한 구성 요소를 사용하는 것.
• 복잡한 다단계 상호작용을 지원하기 위해 강력한 참조 해결 및 복합 질의 이해 능력을 갖추는 것.
• 컴ponent 수준의 메트릭보다 사용자 영향을 받는 실패 사례를 우선시하는 평가 프레임워크를 개발하는 것으로 공학적 효율성을 높이는 것.

제안 방법

• 현장에서 사용 가능한 말투 임베딩을 위해 희석되고 양자화된 BERT 모델(16비트 부동소수점)을 사용하며, 하이퍼파라미터 튜닝과 지식 희석을 통해 모델 크기를 20배 줄였지만 정확도 손실이 크지 않았습니다.
• 입력 말투에서 트리 구축 지침을 생성하기 위해 인코더-디코더 아키텍처를 갖춘 순서에서 순서로의 파서를 사용하며, 경로 기반 선형화를 통해 계층적 의미 구조를 표현합니다.
• 연속된 부분 문자열을 추출하기 위해 제약 조건이 있는 복사 메커니즘을 사용하고, 노드 재사용을 방지하기 위해 반복 가능한 슬롯을 지원하기 위해 플러시 명령어를 도입합니다.
• 계층적 온톨로지는 표현력 있고 복합적인 의미 표현을 가능하게 하며, '내 다음 회의에 참석자 전부한테 메시지 보내기'와 같은 복잡한 질의를 지원합니다.
• 피어드 페어링 파서는 개인 요청 처리(현장에서 실행)와 지식 기반 질의 처리(서버 지원)를 분리하여 확장성과 독립적인 개발을 가능하게 합니다.
• 새로운 평가 파이프라인은 모델 버전 간 사용자 상호작용을 재생하여 실제 사용자 영향을 받는 NLU 오류만 식별하며, 엄격한 레이블 일관성에 의존도를 줄입니다.

실험 결과

연구 질문

• RQ1 현장에서 실행되는 NLU 시스템은 사용자 프라이버시를 유지하면서도 고정확도와 저지연을 어떻게 달성할 수 있나요?
• RQ2 완전한 종단 간 학습 없이도 강력하고 유지보수 용이하며 조합 가능한 대화 이해를 가능하게 하는 아키텍처 선택은 무엇인가요?
• RQ3 풍부한 계층적 온톨로지와 순서에서 순서로의 파싱이 복잡한 다단계 및 복합 사용자 요청을 어떻게 함께 지원할 수 있나요?
• RQ4 사용자 경험에 영향을 주는 NLU 오류를 식별하는 데 가장 효과적인 평가 방법은 무엇이며, 컴ponent 수준의 레이블 불일치와는 어떻게 구별되나요?

주요 결과

• 현장에서 실행되는 NLU 시스템은 서버 기반 처리에 의존도를 줄여 기밀성과 반응성 향상으로 높은 종단 간 정확도를 달성합니다.
• 지식 희석과 16비트 양자화를 통해 기본 BERT 모델 크기를 20배 줄였고, 종단 간 정확도에 통계적으로 유의미한 손실가지 않았습니다.
• 경로 기반 트리 표현을 사용하는 순서에서 순서로의 파서는 계층적 의미를 효과적으로 포착하며, 복합 문장 및 참조 표현을 포함한 복잡한 질의를 지원합니다.
• 평가 파이프라인은 보고된 모델 오류 중 10~50%만 실제 사용자 영향을 주는 오류로 식별하여, 집중적인 개선과 높은 공학적 효율성을 가능하게 했습니다.
• 피어드 페어링 파서는 개인 및 지식 기반 질의 컴포넌트의 독립적 개발을 가능하게 하여 이질적인 팀 워크플로우와 확장성을 지원합니다.
• 시스템의 설계는 참조 해결 능력을 강화하며, 다단계 대화에서 '그것'과 같은 대명사를 처리하는 데 있어 전체 대화 상태 추적 없이도 효과적으로 작동함을 입증했습니다.