[論文レビュー] Pre-Training for Query Rewriting in A Spoken Language Understanding System
本稿では、スプoken言語理解（SLU）のためのニューラルリtrievalベースのクエリリライト（QR）システムを提案する。このシステムは、歴史的なユーザー会話とNLU仮説からの事前学習されたコンテキスト埋め込みを活用することで、トレーニングデータの要件を顕著に低減する。大規模なラベルなし会話データでの事前学習により、最小限のファインチューニングで優れた性能を達成でき、20%のQRデータでの学習ですら、完全にファインチューニングされたベースラインを上回る性能を発揮する。
Query rewriting (QR) is an increasingly important technique to reduce customer friction caused by errors in a spoken language understanding pipeline, where the errors originate from various sources such as speech recognition errors, language understanding errors or entity resolution errors. In this work, we first propose a neural-retrieval based approach for query rewriting. Then, inspired by the wide success of pre-trained contextual language embeddings, and also as a way to compensate for insufficient QR training data, we propose a language-modeling (LM) based approach to pre-train query embeddings on historical user conversation data with a voice assistant. In addition, we propose to use the NLU hypotheses generated by the language understanding system to augment the pre-training. Our experiments show pre-training provides rich prior information and help the QR task achieve strong performance. We also show joint pre-training with NLU hypotheses has further benefit. Finally, after pre-training, we find a small set of rewrite pairs is enough to fine-tune the QR model to outperform a strong baseline by full training on all QR training data.
研究の動機と目的
- 音声認識およびNLUの誤りによって引き起こされるユーザーのストレスを軽減すること。
- 高品質なラベル付きクエリリライト（QR）トレーニングペアの不足に応じ、大規模な歴史的会話データでの事前学習を活用すること。
- 事前学習段階でNLU仮説（ドメイン、意図、スロット）を弱い監督信号として組み込むことで、QRの性能を向上させること。
- 事前学習モデルが標準的なファインチューニングに比べ、はるかに少ないラベル付きQRデータで優れた性能を達成できることを示すこと。
提案手法
- BERTに基づくクエリ埋め込みモデルを用いたニューラルリトリーバーを用いて、QRを情報検索タスクとして定式化する。
- 生の発話文におけるマスク言語モデル（MLM）を用いて、歴史的ユーザーセッションを対象にクエリ埋め込みモデルを事前学習する。
- NLU仮説（ドメイン、意図、スロット）を弱い監督信号として同時に最適化することで、事前学習を強化する。
- 多頭部自己注意プーリングを用いて、コンテキストに依存するトークン表現から固定長の発話埋め込みを生成する。
- QRトレーニングデータの小規模なサブセット（20%）上で事前学習モデルをファインチューニングし、リライトタスクに適応させる。
- ホールドアウトされたテストデータ上で、p@1、p@5、p@10、p@20、およびMRRの指標を用いて性能を評価する。
実験結果
リサーチクエスチョン
- RQ1大規模でラベルなしの歴史的ユーザー会話データでの事前学習が、クエリリライト性能を向上させることができるか？
- RQ2事前学習段階でNLU仮説を組み込むことで、QRモデルの性能がさらに向上するか？
- RQ3事前学習により、ラベル付きQRトレーニングデータの必要量をどの程度削減できるか？
- RQ4限定的なQRデータで学習された場合、事前学習モデルの性能は完全にファインチューニングされたベースラインと比べてどの程度優れているか？
主な発見
- 歴史的ユーザー会話データでの事前学習のみ（pretrain text）で、p@1が0.284に達し、ファインチューニングなしのベースライン（0.293）を上回る。
- NLU仮説を併用した共同事前学習（pretrain textNLU）により、p@1は0.290、p@5は0.481に向上し、弱い監督信号による追加的利益が確認された。
- QRデータの20%でのみファインチューニングした事前学習モデルは、p@1が0.315に達し、ベースライン比7.5%の相対的向上を示した。
- 事前学習モデルは、QRデータの20%でのみでほぼ最適な性能を達成している一方で、ベースラインはさらにデータ量を増やすことで性能を改善し続けるため、データ効率性が顕著に優れている。
- 性能分析の結果、特にデータが少ない状況下でも、事前学習モデルが一貫した優位性を維持しており、図3に示されている。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。