[論文レビュー] Leveraging User Engagement Signals For Entity Labeling in a Virtual Assistant

Deepak Muralidharan, Justine Kao+9 more|arXiv (Cornell University)|Sep 18, 2019

Topic Modeling参考文献 10被引用数 11

ひとこと要約

本論文では、タップ、聴取時間、コンテンツ中断などのユーザー参加信号を活用して、会話型AIシステムのトレーニングのための細粒度エンティティラベルを自動生成するフレームワークを提案する。これらの信号を人間によるラベル付けされた粗粒度ラベルと知識ベース検証器を組み合わせ、マルチタスク学習の枠組みで使用することで、序列ラベル付けタスクにおける顕著な精度向上が達成され、エンドツーエンドのタスク誤り率は24.64%低減され、低データ状況下でも追加の人間ラベル付けデータを上回る性能を示した。

ABSTRACT

Personal assistant AI systems such as Siri, Cortana, and Alexa have become widely used as a means to accomplish tasks through natural language commands. However, components in these systems generally rely on supervised machine learning algorithms that require large amounts of hand-annotated training data, which is expensive and time consuming to collect. The ability to incorporate unsupervised, weakly supervised, or distantly supervised data holds significant promise in overcoming this bottleneck. In this paper, we describe a framework that leverages user engagement signals (user behaviors that demonstrate a positive or negative response to content) to automatically create granular entity labels for training data augmentation. Strategies such as multi-task learning and validation using an external knowledge base are employed to incorporate the engagement annotated data and to boost the model's accuracy on a sequence labeling task. Our results show that learning from data automatically labeled by user engagement signals achieves significant accuracy gains in a production deep learning system, when measured on both the sequence labeling task as well as on user facing results produced by the system end-to-end. We believe this is the first use of user engagement signals to help generate training data for a sequence labeling task on a large scale, and can be applied in practical settings to speed up new feature deployment when little human annotated data is available.

研究の動機と目的

• 会話型AIシステムにおける序列ラベル付けのための細粒度ラベル付きトレーニングデータの高コストと不足問題に対処する。
• 自然に発生するユーザー行動を弱い監視信号として活用することで、教師あり学習のボトルネックを克服する。
• 高価な人的ラベル付けに大きく依存せずに、序列ラベル付けおよびエンドツーエンドのユーザー向けタスクの両方でのモデル性能を向上させる。
• 大規模な人的ラベル付きデータセットへの依存を減らすことで、バーチャルアシスタントにおける新機能やドメインの迅速な展開を可能にする。

提案手法

• ユーザーの意図や満足度の代理指標として、コンテンツへのタップ、長時間の聴取、コンテンツの中断といったユーザー参加信号を収集する。
• これらの信号を用いて、プライバシーを守る形でユーザーの要求を細粒度エンティティタイプ（例：musicTitle、musicArtist）で自動的にラベル付ける。
• 人間によるラベル付けデータと参加信号によるラベル付けデータの両方を用い、粗粒度および細粒度の序列ラベル付けを同時に最適化するマルチタスク学習モデルを訓練する。
• 知識ベース（KB）検証器を統合し、意味的に整合性のあるエンティティ関係をチェックすることで、上位のモデル予測をフィルタリング・検証する。
• 実際のユーザーインタラクションに影響を与えることを想定し、生産環境のバーチャルアシスタントシステムにフレームワークをエンドツーエンドで適用して評価する。
• 実験的ヒューリスティクスを用いて、正しい意図認識と強く相関する信頼性の高い参加信号を同定する。

実験結果

リサーチクエスチョン

• RQ1 ユーザー参加信号は、序列ラベル付けタスクにおける細粒度エンティティラベルの生成に有効な弱い監視信号として機能するか？
• RQ2 人間によるラベル付けされた粗粒度ラベルデータと参加信号によるラベル付けデータを組み合わせることで、単一の人間ラベル付けデータを使用する場合と比較して、どの程度モデルの精度が向上するか？
• RQ3 知識ベース検証器は、整合性のないまたは誤ったエンティティラベルの組み合わせをフィルタリングすることで、モデル予測の品質をどの程度向上させるか？
• RQ4 参加信号によるラベル付けデータの使用は、エンドツーエンドのシステム性能およびユーザー向けの結果に測定可能な改善をもたらすか？

主な発見

• 5,000件の人的ラベル付け済み例に1倍分の参加信号ラベル付けデータを追加すると、追加の5,000件の人的ラベル付けデータを追加するのと比較して、より高い精度向上が得られた。
• 90,000件の人的ラベル付け済みデータに1倍分の参加信号ラベル付けデータを追加すると、追加の30,000件の人的ラベル付けデータを追加するのと比較して、より高い精度向上が得られた。
• KB検証器により、2つ以上の関連するエンティティを含む例において、FGEER（細粒度エンティティ誤り率）が5.52%–6.87%から3.04%–3.38%に低下し、相対誤り率は約50%削減された。
• 強化されたモデルは、ベースラインと比較してエンドツーエンドのタスク誤り率を24.64%低減し、ユーザーに向けた成果の向上を示した。
• モデルは、たとえばユーザー行動が曲の好みを示している場合に「Play one by Metallica」における「One」を正しくmusicTitleとして特定するなど、曖昧または異常な言語的パターンに対しても適切に対処できた。
• システムは、個々のユーザーの意図が異なる場合でも、集団レベルでの好み（例：Metallicaの曲「One」を一般解釈よりも優先）を学習し、それを反映した。