[논문 리뷰] Pre-Training for Query Rewriting in A Spoken Language Understanding System

Zheng Chen, Xing Fan외 3명|arXiv (Cornell University)|2020. 02. 13.

Topic Modeling참고 문헌 22인용 수 4

한 줄 요약

이 논문은 음성 언어 이해(SLU)를 위한 신경 검색 기반의 질의 재작성(QR) 시스템을 제안하며, 이는 이전 사용자 대화의 사전 훈련된 문맥 임베딩과 NLU 가설을 활용하여 훈련 데이터 요구량을 크게 줄인다. 대규모 비라벨 대화 데이터에서의 사전 훈련을 통해 모델은 최소한의 피니튜닝으로도 뛰어난 성능을 달성하며, QR 데이터의 20%만으로도 훈련된 완전히 피니튜닝된 베이스라인을 능가한다.

ABSTRACT

Query rewriting (QR) is an increasingly important technique to reduce customer friction caused by errors in a spoken language understanding pipeline, where the errors originate from various sources such as speech recognition errors, language understanding errors or entity resolution errors. In this work, we first propose a neural-retrieval based approach for query rewriting. Then, inspired by the wide success of pre-trained contextual language embeddings, and also as a way to compensate for insufficient QR training data, we propose a language-modeling (LM) based approach to pre-train query embeddings on historical user conversation data with a voice assistant. In addition, we propose to use the NLU hypotheses generated by the language understanding system to augment the pre-training. Our experiments show pre-training provides rich prior information and help the QR task achieve strong performance. We also show joint pre-training with NLU hypotheses has further benefit. Finally, after pre-training, we find a small set of rewrite pairs is enough to fine-tune the QR model to outperform a strong baseline by full training on all QR training data.

연구 동기 및 목표

• 음성 인식 및 NLU 오류로 인한 사용자 불편을 줄이기 위해.
• 고품질의 레이블이 부여된 질의 재작성(QR) 훈련 쌍의 부족 문제를 해결하기 위해 이전의 대규모 역사적 대화 데이터에서의 사전 훈련을 활용하기 위해.
• 사전 훈련 중 NLU 가설을 약한 지도 신호로 통합하여 QR 성능을 향상시키기 위해.
• 사전 훈련된 모델이 표준 피니튜닝 대비 훨씬 적은 레이블이 부여된 QR 데이터로도 뛰어난 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• BERT 기반의 질의 임베딩 모델을 사용하는 신경 검색기로 QR을 정보 검색 문제로 재정의한다.
• 원시 발화 문장에서 마스킹 언어 모델링(MLM)을 사용하여 이전 사용자 세션에서 질의 임베딩 모델을 사전 훈련한다.
• 약한 지도 신호로 NLU 가설(도메인, 의도, 슬롯)을 함께 최적화하여 사전 훈련을 강화한다.
• 맥락 기반 토큰 표현에서 고정 길이의 발화 임베딩을 생성하기 위해 멀티헤드 자기주의 어텐션 풀링을 사용한다.
• QR 훈련 데이터의 소량(20%)에 대해 사전 훈련된 모델을 피니튜닝하여 재작성 작업에 적응시킨다.
• 보류된 테스트 데이터에서 p@1, p@5, p@10, p@20, MRR 메트릭을 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 대규모 비라벨 역사적 사용자 대화에서의 사전 훈련이 질의 재작성 성능을 향상시키는가?
• RQ2 사전 훈련 중 NLU 가설을 통합하면 QR 모델 성능이 추가로 향상되는가?
• RQ3 사전 훈련은 레이블이 부여된 QR 훈련 데이터의 필요성을 얼마나 줄일 수 있는가?
• RQ4 제한된 QR 데이터로 훈련되었을 때, 사전 훈련된 모델의 성능은 완전히 피니튜닝된 베이스라인과 어떻게 비교되는가?

주요 결과

• 단지 역사적 사용자 대화에서의 사전 훈련(Pretrain Text)만으로도 p@1이 0.284를 기록하며, 피니튜닝 없이도 베이스라인(0.293)을 능가한다.
• NLU 가설을 함께 사전 훈련한 경우(Pretrain TextNLU) p@1은 0.290, p@5는 0.481로 향상되어 약한 지도 신호의 추가적 이점이 있음을 보여준다.
• QR 데이터의 20%만으로도 사전 훈련된 모델을 피니튜닝하면 p@1이 0.315에 도달하며, 베이스라인 대비 7.5% 상대적 향상이 이루어진다.
• 사전 훈련된 모델는 QR 데이터의 20%만으로도 거의 최적의 성능에 도달하지만, 베이스라인은 더 많은 데이터로도 성능 향상을 계속 보이며, 이는 데이터 효율성을 시사한다.
• 성능 분석 결과, 사전 훈련된 모델는 특히 데이터가 적은 환경에서 일관된 우월성을 유지하며, 그림 3에서 이를 확인할 수 있다.