[論文レビュー] Learning to Respond with Your Favorite Stickers: A Framework of Unifying Multi-Modality and User Preference in Multi-Turn Dialog

Shen Gao, Xiuying Chen+3 more|arXiv (Cornell University)|Nov 5, 2020

Multimodal Machine Learning Applications参考文献 94被引用数 9

ひとこと要約

本稿では、マルチターン対話文脈とユーザーのスティッカー好みを統合的にモデル化することで、スティッカー推薦を向上させる Preference Enhanced Sticker Response Selector (PESRS) を提案する。深層相互作用ネットワーク、キーバリュー記憶を用いたユーザー好みモデリング、およびゲート付きファージョン機構を統合することで、大規模な実世界データセットにおいて最先端の性能を達成し、すべての標準指標で先行手法を上回った。

ABSTRACT

Stickers with vivid and engaging expressions are becoming increasingly popular in online messaging apps, and some works are dedicated to automatically select sticker response by matching the stickers image with previous utterances. However, existing methods usually focus on measuring the matching degree between the dialog context and sticker image, which ignores the user preference of using stickers. Hence, in this paper, we propose to recommend an appropriate sticker to user based on multi-turn dialog context and sticker using history of user. Two main challenges are confronted in this task. One is to model the sticker preference of user based on the previous sticker selection history. Another challenge is to jointly fuse the user preference and the matching between dialog context and candidate sticker into final prediction making. To tackle these challenges, we propose a \emph{Preference Enhanced Sticker Response Selector} (PESRS) model. Specifically, PESRS first employs a convolutional based sticker image encoder and a self-attention based multi-turn dialog encoder to obtain the representation of stickers and utterances. Next, deep interaction network is proposed to conduct deep matching between the sticker and each utterance. Then, we model the user preference by using the recently selected stickers as input, and use a key-value memory network to store the preference representation. PESRS then learns the short-term and long-term dependency between all interaction results by a fusion network, and dynamically fuse the user preference representation into the final sticker selection prediction. Extensive experiments conducted on a large-scale real-world dialog dataset show that our model achieves the state-of-the-art performance for all commonly-used metrics. Experiments also verify the effectiveness of each component of PESRS.

研究の動機と目的

• 既存のスティッカー応答選択手法がユーザー固有のスティッカー好みを無視するという制限を解消すること。
• マルチターン対話におけるより正確なスティッカー推薦のため、ユーザー好みと文脈-スティッカー一致を統合的にモデル化すること。
• 対話とスティッカーのコンテンツからの相互作用特徴とユーザー好みの表現を動的に統合するフレームワークを構築すること。
• 実世界のメッセージングアプリケーションにおけるスティッカー推薦のパーソナライゼーションと関連性を向上させること。

提案手法

• 自己注意に基づくマルチターン対話エンコーダが、会話の各ターンにわたる文脈表現を捉える。
• 畳み込みニューラルネットワーク (CNN) がスティッカー画像を高次元埋め込みに変換する。
• 対話の単語とスティッカー表現ユニットの間で共注意力を計算することで、細粒度の一致をモデル化する深層相互作用ネットワーク。
• 最近のユーザーのスティッカー選択を処理することで、使用行動における時間的パターンを捉える位置に敏感な履歴エンコーダネットワーク。
• 現在の文脈に基づいて、ユーザー好みの表現を格納・取得するキーバリュー記憶ネットワーク。
• 最終的なスティッカー予測の前に、相互作用の結果とユーザー好みの特徴を動的に統合するゲート付きファージョンネットワーク。

実験結果

リサーチクエスチョン

• RQ1 マルチターン対話における履歴的選択行動から、どのようにしてユーザーのスティッカー好みを効果的にモデル化できるか？
• RQ2 文脈のみの一致と比較して、ユーザー好みの統合がスティッカー応答選択の性能にどの程度向上効果をもたらすか？
• RQ3 ユーザー相互作用履歴における短期的および長期的依存性は、スティッカー推薦の正確性にどのように影響するか？
• RQ4 各コンポonent（例：記憶ネットワーク、ゲート付きファージョン）が全体のモデル性能に果たす寄与度は何か？

主な発見

• PESRS は、大規模な実世界の対話データセットにおいて、すべての標準評価指標で最先端の性能を達成した。
• ユーザー好みモデリングの導入により、文脈-スティッカー一致のみに依存する手法と比較して、予測精度が顕著に向上した。
• キーバリュー記憶ネットワークは長期的なユーザー好みを効果的に捉えており、位置に敏感なエンコーダは短期的な使用パターンをモデル化している。
• アブレーションスタディの結果、特にゲート付きファージョンと記憶ネットワークが性能向上に有意義な寄与をしていることが確認された。
• スティッカー分類の補助タスクでは 65.74% の正確度を達成しており、モデルがスティッカー画像から意味的意味を捉えていることを示している。
• スティッカーごとの絵文字ラベルの分布は高い多様性を示しているが、一貫性のないラベル付け慣行により、潜在的なラベルノイズの可能性も示唆された。