[論文レビュー] What Do You Mean I'm Funny? Personalizing the Joke Skill of a Voice-Controlled Virtual Assistant

Alejandro Mottini, Amber Roy Chowdhury|arXiv (Cornell University)|Dec 6, 2019

AI in Service Interactions参考文献 14被引用数 5

ひとこと要約

本稿では、自然言語処理および深層学習モデルを訓練するために、ユーザーの再利用行動に基づくimplicitフィードバックを用いて、音声制御型バーチャルアシスタントにおけるジョーの配信をパーソナライズする手法を提案する。2つの弱い監督戦略（5分間の再利用、1日以内の再訪問）を導入し、これらのラベルで訓練されたモデルが、ヒューリスティックベースラインと比較してユーザー満足度とジョー順序付けの正確性が顕著に向上することを示した。トランスフォーマーに基づくモデルは、オフラインおよびオンライン評価においてロジスティック回帰を上回る性能を発揮した。

ABSTRACT

A considerable part of the success experienced by Voice-controlled virtual assistants (VVA) is due to the emotional and personalized experience they deliver, with humor being a key component in providing an engaging interaction. In this paper we describe methods used to improve the joke skill of a VVA through personalization. The first method, based on traditional NLP techniques, is robust and scalable. The others combine self-attentional network and multi-task learning to obtain better results, at the cost of added complexity. A significant challenge facing these systems is the lack of explicit user feedback needed to provide labels for the models. Instead, we explore the use of two implicit feedback-based labelling strategies. All models were evaluated on real production data. Online results show that models trained on any of the considered labels outperform a heuristic method, presenting a positive real-world impact on user satisfaction. Offline results suggest that the deep-learning approaches can improve the joke experience with respect to the other considered methods.

研究の動機と目的

• ユーザーの好みに基づいたジョーの配信を最適化することで、音声制御型バーチャルアシスタントにおけるユーザー満足度を向上させること。
• ジョーの面白さをラベルづけるために明示的フィードバックが欠如している課題に対し、implicitフィードバックシグナルを活用すること。
• ジョー順序付けのための従来のNLP（ロジスティック回帰）と深層学習モデル（トランスフォーマー、BERT、CNN）の性能を評価・比較すること。
• implicitフィードバックに基づく弱い監督モデルが、実世界の展開においてヒューリスティックなジョー選択を上回ることを確認すること。
• 本番環境での展開を想定した、モデルの正確性、スケーラビリティ、推論遅延のトレードオフを評価すること。

提案手法

• 2つのimplicitフィードバックに基づくラベリング戦略を用いる：'5分間の再利用'（ユーザーが5分以内に別のジョーをリクエストした場合に正例）および'1日以内の再訪問'（ユーザーが1～25時間以内に再訪問した場合に正例）。
• 手作業で設計された特徴量を用いてロジスティック回帰（LR）モデルを訓練する。特徴量には、NLPベースの面白さ特徴（意味の組み合わせ、曖昧さ）、イベント固有のキーワード（例：'サンタ'）および平均化／最大プーリングされたサブワード埋め込みが含まれる。
• 深層学習モデルには、カスタムトランスフォーマー（DL-T）、BERT（DL-BERT）、CNNベースのアーキテクチャ（DL-CNN）を含み、特別なアテンションや修正された損失関数を有無するバージョンも含む。
• すべてのモデルは、ポイントワイズ順序付けのための二値分類を採用し、ラベルスムージングとドロップアウトを組み合わせた正則化を施した損失関数を用いる。
• 特徴量には、ユーザー単位（例：国コード）、アイテム単位（ジョーのテキスト）、文脈的要因（リクエストタイムスタンプ）を含み、ワンホットエンコーディングや正規化などの前処理を実施する。
• ハイパーパrameterはグリッドサーチにより最適化され、学習率、バッチサイズ、正則化、アテンションヘッド数を調整。モデルの複雑さは、遅延制約に合わせて調整される。

実験結果

リサーチクエスチョン

• RQ1 再利用や再訪問行動といったimplicitユーザーフィードバックシグナルを、ジョー順序付けモデルの弱いラベル生成に効果的に活用できるか？
• RQ2 トランスフォーマーやBERTといった深層学習モデルと、ロジスティック回帰といった従来のNLPモデルとを比較した場合、音声アシスタントにおけるジョー選択のパーソナライズ化において、どちらが優れているか？
• RQ3 特別なアテンション機構や修正された損失関数といったアーキテクチャの変更が、ジョー順序付けにおけるモデル性能に与える影響は何か？
• RQ4 implicitフィードバックラベルで訓練されたモデルは、リテンションや対話参加度といった実世界のユーザー満足度指標を向上させることができるか？
• RQ5 本番環境での展開において、モデルの正確性、推論遅延、スケーラビリティの間にはどのようなトレードオフが存在するか？

主な発見

• 5分間の再利用または1日以内の再訪問ラベルで訓練されたモデルは、オンラインA/Bテストにおいてヒューリスティックベースラインを顕著に上回り、ユーザーのリテンションが向上し、中断率が低下した。
• トランスフォーマーに基づくモデル（DL-T）は、人気ベースラインと比較してAUC-ROCで31%の相対的改善、全体の正確性で24%の向上を達成し、他のすべてのモデルを上回った。
• BERTベースのモデル（DL-BERT）は、AUC-ROCで30%の相対的改善、正確性で27%の向上を示したが、モデルサイズ（340Mパラメータ）が大きく、推論遅延が高かった。
• トランスフォーマーモデルに特別なアテンションと修正損失関数を追加した結果、性能向上が明確に観察された。DL-T-noAttおよびDL-T-basicは、完全なモデルに比べて性能が低かった。
• トップ1の正確性は、DL-BERTでLRベースライン比1.4、DL-Tで0.43の向上を示し、最も関連性の高いジョーの順序付けが改善された。
• ロジスティック回帰モデルは、優れた低遅延ベースラインを提供したが、特徴量の手作業設計が煩雑で、新規言語や地域へのスケーラビリティに劣った。