[論文レビュー] Handling Long-Tail Queries with Slice-Aware Conversational Systems

Cheng Wang, Sun Kim+6 more|arXiv (Cornell University)|Apr 26, 2021

Advanced Graph Neural Networks参考文献 26被引用数 5

ひとこと要約

本論文では、スライスベース学習（SBL）を用いて事前学習済みスキルルーティングモデルを拡張することで、低トラフィックで高インパクトな（テイル）クエリのパフォーマンスを向上させるスライス認識型対話型AIシステムを提案する。意図固有のラベル関数を定義し、スライス認識型アテンション機構を導入することで、20件の監視対象テイル意図のうち14件でモデルの正確性が向上し、パフォーマンスの低下を最小限に抑え、従来のアップサンプリング手法に比べて安定性とカバレッジで優れた性能を発揮した。

ABSTRACT

We have been witnessing the usefulness of conversational AI systems such as Siri and Alexa, directly impacting our daily lives. These systems normally rely on machine learning models evolving over time to provide quality user experience. However, the development and improvement of the models are challenging because they need to support both high (head) and low (tail) usage scenarios, requiring fine-grained modeling strategies for specific data subsets or slices. In this paper, we explore the recent concept of slice-based learning (SBL) (Chen et al., 2019) to improve our baseline conversational skill routing system on the tail yet critical query traffic. We first define a set of labeling functions to generate weak supervision data for the tail intents. We then extend the baseline model towards a slice-aware architecture, which monitors and improves the model performance on the selected tail intents. Applied to de-identified live traffic from a commercial conversational AI system, our experiments show that the slice-aware model is beneficial in improving model performance for the tail intents while maintaining the overall performance.

研究の動機と目的

• 商用対話型AIシステムにおける、長テイルでありながらも重要なユーザークエリにおける低パフォーマンスの課題に対処すること。
• 全体のシステムパフォーマンスを損なうことなく、低トラフィックで高インパクトな意図に対するモデルの汎化性能と信頼性を向上させること。
• スライスベース学習（SBL）が、従来のデータ拡張手法（例：アップサンプリング）に比べ、より安定的かつ効果的な改善をもたらすかどうかを評価すること。
• 意図の意味論に基づいて定義される特定のデータサブグループ（スライス）に対して、モデル行動を監視・強化できるスケーラブルな手法を開発すること。

提案手法

• 特定のテイル意図を特定・分離し、標的監視と改善に特化したスライス関数（ラベル関数）を定義する。
• クエリ表現を抽出するバックボーンモデルとして、事前学習済みスキルルーティングモデル（$\mathbf{P}$）を用いる。
• 異なる意図スライスからの寄与を動的に重み付けるアテンション機構を導入することで、$\mathbf{P}$ をスライス認識アーキテクチャに拡張する。
• テイル意図スライス上での温度制御確率分布を用いて、2種類のアテンション重み関数を実装し、探索と活用のバランスを取る。
• ラベル関数からの弱い監視信号を用いて、選択されたスライスにおける標的最適化を可能にする、スライス認識モデル（$\mathbf{S}$）を訓練する。
• 本モデル（$\mathbf{S}$）を、ベースラインモデル（$\mathbf{P}$）およびアップサンプリングベースの変種（$\mathbf{P}_{up}$）と比較する。実世界の匿名化済みユーザークエリデータを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 スライスベース学習（SBL）は、商用対話型AIシステムにおける低トラフィックで重要なテイル意図のパフォーマンス向上に、実際に有効に機能するか？
• RQ2 スライス認識モデルのパフォーマンスは、テイル意図の精度向上と安定性の観点で、標準的なアップサンプリング戦略と比べてどのように異なるか？
• RQ3 特定の意図スライスの強化を図る際、スライス認識アーキテクチャは全体のシステムパフォーマンスをどの程度維持できるか？
• RQ4 スライス認識モデルのアテンション機構は、データ拡張手法と比較して、多様なテイル意図においてよりバランスの取れた一貫性のある改善を可能にするか？

主な発見

• スライス認識モデル（$\mathbf{S}$）は、20件の監視対象テイル意図のうち14件でパフォーマンス向上を達成したのに対し、アップサンプリングベースライン（$\mathbf{P}_{up}$）はわずか5件にとどまった。
• スライス認識モデルは20件のテイル意図全体で平均－0.21%のパフォーマンス低下に抑えられたのに対し、アップサンプリング手法は平均－2.41%の低下を示した。
• テストインスタンスが1,000件未満の意図ID 20については、アップサンプリング手法が深刻なパフォーマンス低下（－21.21%）を引き起こしたが、スライス認識モデルは安定した0.00%の差異を維持した。
• スライス認識モデルは、特にリソースが限られた意図においても、より均等なパフォーマンス向上を示し、多様なテイル意図カテゴリにわたり一貫した改善が見られた。
• 温度制御確率分布を用いたアテンション機構により、高トラフィックのスライスに過剰にフィットすることなく、関連するスライスへの的確で安定した注目が可能になった。
• スライス認識アプローチは、予期しないパフォーマンス低下を抑制し、実際のトラフィック環境下でアップサンプリングに比べてより高い耐性を示した。