[논문 리뷰] Personalized Query Rewriting in Conversational AI Agents

Alireza Roshan Ghias, Clint Solomon Mathialagan외 3명|arXiv (Cornell University)|2020. 11. 09.

Topic Modeling참고 문헌 18인용 수 5

한 줄 요약

이 논문은 대화형 AI 에이전트를 위한 개인화된 쿼리 재작성 프레임워크를 제안하며, 사용자 고유의 상호작용 메모리를 활용하여 자동 음성 인식(ASR) 및 자연어 이해(NLU) 오류를 보정한다. 계층적 어텐션과 신경 검색을 갖춘 포인터-생성기 네트워크를 사용하여, ASR n-best 출력과 사용자 히스토리 정보를 통합함으로써 기준 모델 대비 재작성 정확도와 의도 복구 능력을 크게 향상시킨다.

ABSTRACT

Spoken language understanding (SLU) systems in conversational AI agents often experience errors in the form of misrecognitions by automatic speech recognition (ASR) or semantic gaps in natural language understanding (NLU). These errors easily translate to user frustrations, particularly so in recurrent events e.g. regularly toggling an appliance, calling a frequent contact, etc. In this work, we propose a query rewriting approach by leveraging users' historically successful interactions as a form of memory. We present a neural retrieval model and a pointer-generator network with hierarchical attention and show that they perform significantly better at the query rewriting task with the aforementioned user memories than without. We also highlight how our approach with the proposed models leverages the structural and semantic diversity in ASR's output towards recovering users' intents.

연구 동기 및 목표

• 반복적인 상호작용 중 ASR 및 NLU 오류로 인한 사용자 불만을 줄이기 위해.
• 이전에 성공한 사용자 상호작용 기록을 개인화된 메모리로 활용하여 쿼리 재작성 성능을 향상시키기 위해.
• ASR 불확실성 하에서 검색 기반 모델과 생성 기반(포인터-생성기) 신경 모델의 쿼리 재작성 성능를 비교하기 위해.
• ASR n-best 출력과 사용자 메모리가 함께 작용할 때 의도 복구 및 재작성 품질 향상 정도를 조사하기 위해.
• 추가적인 후처리 오버헤드 없이 사용자 메모리와 ASR 불확실성을 통합하는 확장 가능한 종단 간 프레임워크를 개발하기 위해.

제안 방법

• 신경 검색 모델은 양방향 LSTM을 사용해 ASR n-best 가설과 사용자 메모리 문장을 인코딩한 후, 메모리에서 ASR 출력으로의 어텐션을 적용하여 맥락 인식 표현을 생성한다.
• 계층적 어텐션을 갖춘 포인터-생성기 네트워크는 먼저 ASR n-best에 주목하고, 그 다음 사용자 메모리에 주목하여, 어느 원천에서든 재작성의 일부를 복사하거나 생성할 수 있도록 한다.
• 포인터 네트워크는 커버리지 메커니즘을 사용하여 중복 복사를 방지하고, ASR n-best 및 메모리의 구성 요소를 조합하여 새로운 문장을 구성함으로써 일반화 능력을 향상시킨다.
• 모델은 암호화된 100만 개가 넘는 Alexa의 재작성 쌍 데이터셋에서 훈련되었으며, 첫 번째 문장은 ASR 실패 문장이고 두 번째 문장은 성공적인 재작성이다.
• ASR n-best 출력은 불확실성을 반영하기 위해 입력으로 사용되며, 모델은 원래의 ASR 가설을 성공적인 재작성과 일치하도록 재작성하도록 훈련된다.
• 프레임워크는 대화 맥락으로의 확장성과 향후 ASR 레이티스 통합을 고려하여 설계되어 있어 더 풍부한 가설 공간을 제공한다.

실험 결과

연구 질문

• RQ1 사용자 고유의 상호작용 메모리는 대화형 AI 시스템에서 쿼리 재작성 성능을 크게 향상시킬 수 있는가?
• RQ2 ASR n-best 출력을 통합할 경우 쿼리 재작성 모델의 강인성과 정확도는 어떻게 영향을 받는가?
• RQ3 생성 기반 포인터-네트워크 접근 방식은 개인화된 쿼리 재작성에서 검색 기반 기준 모델을 능가하는가?
• RQ4 ASR 출력이 의미적으로나 청각적으로 잘못되었을 경우 모델은 얼마나 정확한 의도를 복구할 수 있는가?
• RQ5 사용자가 턴 간에 의도를 변경하는 경우 모델은 어떻게 대처하며, 이는 평가에 어떤 영향을 미치는가?

주요 결과

• 계층적 어텐션을 갖춘 포인터-생성기 네트워크는 정밀도 90%를 유지하면서도 검색 모델보다 높은 리콜을 달성하여 더 나은 일반화와 의도 복구 능력을 보였다.
• 포인터 네트워크는 검색 모델 대비 의도 오류를 5배 더 적게 일으켜 의미적 의도 이해 능력이 뛰어나다는 것을 입증했다.
• ASR n-best와 메모리 구성 요소를 조합하여 새로운 문장을 생성함으로써, 메모리에 정확한 재작성어가 없더라도 'launch room'을 'laundry room'으로 수정하는 부분 오류도 성공적으로 재작성했다.
• ASR n-best 출력을 통합함으로써 두 모델의 성능이 향상되었으며, 이는 올바른 재작성 학습에 대한 추가 신호를 제공했다.
• 검색 모델은 메모리 내 정확하거나 유사한 어휘를 매칭하는 데에 국한되었지만, 포인터 네트워크는 여러 원천에서 복사하여 새로운 올바른 재작성어를 생성할 수 있었다.
• 사용자 메모리와 ASR 불확실성을 모두 활용함으로써 프레임워크는 추가적인 후처리 오버헤드 없이도 쿼리 재작성 작업에서 최신 기술 수준의 성능을 달성했다.