[論文レビュー] soc2seq: Social Embedding meets Conversation Model

Parminder Bhatia, Marsal Gavaldà+1 more|arXiv (Cornell University)|Feb 17, 2017

Machine Learning in Bioinformatics参考文献 18被引用数 6

ひとこと要約

この論文では、ユーザー固有の会話スタイルと場所ベースの文脈を統合した社会的グラフ構造を組み込んだニューラル会話モデル、soc2seqを紹介している。アテンションベースのseq2seqモデルと社会的埋め込みを組み合わせることで、強力なベースライン比でROUGEスコアが15.81%向上し、より優れたパーソナライズ性と応答の関連性を示している。

ABSTRACT

While liking or upvoting a post on a mobile app is easy to do, replying with a written note is much more difficult, due to both the cognitive load of coming up with a meaningful response as well as the mechanics of entering the text. Here we present a novel textual reply generation model that goes beyond the current auto-reply and predictive text entry models by taking into account the content preferences of the user, the idiosyncrasies of their conversational style, and even the structure of their social graph. Specifically, we have developed two types of models for personalized user interactions: a content-based conversation model, which makes use of location together with user information, and a social-graph-based conversation model, which combines content-based conversation models with social graphs.

研究の動機と目的

• Yik Yakのようなモバイルソーシャルアプリにおける一般的でパーソナライズされていない返信生成の限界を解消すること。
• ユーザー固有の会話スタイル、場所の文脈、社会的グラフ構造を統合することで、自動返信の提案を改善すること。
• 社会的相互作用から得られる分散埋め込みを用いてユーザーのパーソナをモデル化することで、応答の一般化を低減し、関連性を向上させること。
• 社会的グラフ埋め込みを用いることで、パーソナライズされた応答生成におけるデータスパarsityとコールドスタート問題を克服すること。

提案手法

• 場所とユーザーに基づく会話モデルと、ユーザー埋め込みと会話履歴を統合する社会的グラフ強化モデルを備えた二重モデルフレームワークを提案する。
• 入力文脈と応答生成のための別個のエンコーダを備えたアテンションベースのseq2seqLSTMアーキテクチャを用い、文脈に配慮したデコードを可能にする。
• 「いいね」や「コメント」などの社会的グラフデータを活用してユーザー埋め込みを事前学習し、類似した返信行動を示すユーザーのクラスタを捉える。
• 会話履歴と社会的相互作用データの両方を用いてユーザー埋め込みをファインチューニングし、パーソナライズ性を向上させるとともに、パープレキシティを低減する。
• n-gramの重複度と生成品質をそれぞれ評価する指標として、ROUGEとパープレキシティを評価指標として採用する。
• ユーザーと場所の埋め込みをエンコーダーとデコーダーの両ネットワークに統合し、各コンポONENTの寄与度を評価するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 社会的グラフ構造をニューラル会話モデルに統合することで、自動返信の提案のパーソナライズ性と関連性が顕著に向上するか？
• RQ2 ユーザー固有の会話スタイルと場所の文脈を統合することで、一般的なseq2seqベースラインと比較して応答品質がどのように向上するか？
• RQ3 社会的グラフから得られる埋め込みは、パーソナライズされた返信生成におけるデータスパarsityとコールドスタート問題をどの程度軽減できるか？
• RQ4 ユーザー埋め込みをエンコーダーとデコーダーの両方に統合することで応答品質が向上するか、それとも匿名環境ではノイズを引き起こすか？

主な発見

• チューニング済みの社会的ユーザーモデルは、標準LSTMベースライン比でROUGE F1スコアが15.81%向上し、ROUGE-Lスコアは29.26から32.60に上昇した。
• 場所ベースのモデルは、デコーダーとエンコーダー両方でパープレキシティを72.7に低下させ、標準LSTMベースライン（79.1）比で8%の顕著な改善を示した。
• ユーザーに基づくモデルはベースライン（パープレキシティ80.7）より劣った性能を示した。これは、データスパarsityと高い埋め込み次元数（10万ユーザー対1万場所）が要因とされる。
• 事前学習済みの社会的グラフ埋め込みのみでもパフォーマンスが向上（パープレキシティ72.4）、ファインチューニングなしでも有意義な返信スタイルのクラスタを捉えられることを示した。
• 会話データと社会的相互作用データの両方を用いてユーザー埋め込みをファインチューニングした結果、パープレキシティが72.4から70.9に1.5ポイント低下し、共同学習の有効性を確認した。
• デコーダー専用のユーザーモデルがエンコーダーとデコーダーの両方を用いたバージョンを上回った。これは、匿名環境では発話者のアイデンティティそのものが応答品質を向上させない可能性を示唆している。