[논문 리뷰] Neural model robustness for skill routing in large-scale conversational AI systems: A design choice exploration

Han Li, Sunghyun Park외 6명|arXiv (Cornell University)|2021. 03. 04.

Topic Modeling참고 문헌 17인용 수 9

한 줄 요약

이 논문은 대규모 대화형 AI 시스템에서 스킬 라우팅의 모델 견고성에 대해 연구하며, 모델 배포 후 스킬 구독이 동적으로 변화하는 상황에 초점을 맞춘다. 데이터 증강 기법이 가설 목록의 변화—특히 삽입—에 대해 견고성을 크게 향상시키는 것으로 밝혀졌으며, Bi-LSTM 아키텍처는 증강 조치를 취하더라도 이러한 변화에 취약하여 성능이 저하됨을 보여준다.

ABSTRACT

Current state-of-the-art large-scale conversational AI or intelligent digital assistant systems in industry comprises a set of components such as Automatic Speech Recognition (ASR) and Natural Language Understanding (NLU). For some of these systems that leverage a shared NLU ontology (e.g., a centralized intent/slot schema), there exists a separate skill routing component to correctly route a request to an appropriate skill, which is either a first-party or third-party application that actually executes on a user request. The skill routing component is needed as there are thousands of skills that can either subscribe to the same intent and/or subscribe to an intent under specific contextual conditions (e.g., device has a screen). Ensuring model robustness or resilience in the skill routing component is an important problem since skills may dynamically change their subscription in the ontology after the skill routing model has been deployed to production. We show how different modeling design choices impact the model robustness in the context of skill routing on a state-of-the-art commercial conversational AI system, specifically on the choices around data augmentation, model architecture, and optimization method. We show that applying data augmentation can be a very effective and practical way to drastically improve model robustness.

연구 동기 및 목표

• 모델 배포 후 스킬이 의도에 대한 구독을 동적으로 변경하는 상황에서도 스킬 라우팅 시스템의 성능을 유지하는 데 도전 과제를 해결한다.
• 다양한 모델 설계 선택—데이터 증강, 모델 아키텍처, 최적화 방법—이 동적 가설 목록 변화 상황에서 견고성에 미치는 영향을 조사한다.
• 가설 제거 및 삽입이 모델 성능에 미치는 영향을 평가하여 실세계 대규모 대화형 AI 시스템에서의 실제 견고성에 대한 이해를 도모한다.
• 대규모 디지털 어시스턴트 플랫폼에서 변화하는 스킬 온톨로지에도 일관된 모델 성능을 보장할 수 있는 최적의 설계 선택을 규명한다.

제안 방법

• 학습 중에 노이즈 주입 및 가설 목록 편집을 포함한 데이터 증강 기법을 적용하여 스킬 구독의 동적 변화를 시뮬레이션한다.
• 세 가지 모델 아키텍처—Bi-LSTM, 트랜스포머 기반 어텐션, 단순 집계 기반 모델—을 사용하여 리스트 기반 순서 매기기에서 교차 가설 컨텍스트를 인코딩한다.
• 이상적 손실 함수로 이진 교차 엔트로피(BCE)와 마진 기반 교차 엔트로피(MCE)를 사용하여 오프라인 및 온라인 평가 프로토콜을 평가한다.
• 가설 제거 및 삽입 비율을 변화시켜 제어된 마이크로 벤치마크를 수행하여 리스트 다이나믹스가 모델 견고성에 미치는 영향을 분리한다.
• 보류된 테스트 세트에서 오프라인 평가를 수행하고, 변화하는 가설 목록을 가진 시뮬레이션된 생산 환경에서 온라인 평가를 실시한다.
• 다양한 설계 선택 사항에 따른 성능 저하를 비교하여 동적 조건 하에서의 견고성 수준을 측정한다.

실험 결과

연구 질문

• RQ1 가설 목록(후보 스킬 목록)이 추론 시기에 변화할 때 데이터 증강은 스킬 라우팅에서 모델 견고성에 어떤 영향을 미치는가?
• RQ2 Bi-LSTM, 어텐션 기반, 집계 기반 등 서로 다른 모델 아키텍처는 동적 가설 목록 변화 상황에서 어떻게 성능을 발휘하는가?
• RQ3 BCE 또는 MCE 중 어떤 최적화 방법이 동적 스킬 구독 상황에서 더 높은 견고성을 제공하는가?
• RQ4 온라인 평가 환경에서 가설 제거와 삽입 중 어느 것이 모델 성능에 더 큰 영향을 미치는가?
• RQ5 데이터 증강은 스킬 라우팅 후보 목록의 동적 변화로 인한 성능 저하를 효과적으로 완화할 수 있는가?

주요 결과

• 모든 모델 유형에서 데이터 증강을 적용하면 온라인 정확도 저하가 0%로 감소하여 10개의 새로운 가설이 삽입된 상황에서도 성능을 유지한다.
• Bi-LSTM 모델은 10개의 새로운 가설이 삽입될 경우 정확도가 56.74% 감소하여 목록 순서 및 길이 변화에 매우 민감함을 보여준다.
• 어텐션 기반 모델이 동적 조건 하에서 가장 뛰어난 온라인 성능을 기록하며, Bi-LSTM 및 집계 기반 모델을 압도한다.
• 6개 평가 사례 중 4개에서 이진 교차 엔트로피(BCE) 손실이 마진 기반 교차 엔트로피(MCE)보다 우수하여 이 작업에 대해 더 나은 일반화 성능을 보임을 시사한다.
• 유사한 오프라인 정확도를 보일지라도 Bi-LSTM 모델은 어텐션 기반 모델에 비해 온라인 견고성이 현저히 열 劣하므로 아키텍처적 한계가 드러난다.
• 데이터 증강을 적용한 후 모든 모델이 오프라인 성능 수준과 유사한 온라인 정확도를 확보하여 동적 입력 변화에 대한 일반화 능력 향상이 확인되었다.