[論文レビュー] Joint Effects of Context and User History for Predicting Online Conversation Re-entries

Xingshan Zeng, Jing Li+2 more|arXiv (Cornell University)|Jun 4, 2019

Complex Network Analysis Techniques参考文献 25被引用数 4

ひとこと要約

本稿では、オンライン再参加行動を予測するために、会話文脈とユーザーの会話履歴を統合的にモデル化するためのニューラルフレームワークを提案する。バイアテンション機構を用いることで、エンドツーエンド学習によるユーザーの関心と会話文脈内のトピック整合性を統合的に学習し、TwitterでF1スコア61.1を達成した。これは、先行する最先端手法を上回る結果である。

ABSTRACT

As the online world continues its exponential growth, interpersonal communication has come to play an increasingly central role in opinion formation and change. In order to help users better engage with each other online, we study a challenging problem of re-entry prediction foreseeing whether a user will come back to a conversation they once participated in. We hypothesize that both the context of the ongoing conversations and the users' previous chatting history will affect their continued interests in future engagement. Specifically, we propose a neural framework with three main layers, each modeling context, user history, and interactions between them, to explore how the conversation context and user chatting history jointly result in their re-entry behavior. We experiment with two large-scale datasets collected from Twitter and Reddit. Results show that our proposed framework with bi-attention achieves an F1 score of 61.1 on Twitter conversations, outperforming the state-of-the-art methods from previous work.

研究の動機と目的

• ユーザーが以前に参加したオンライン会話に再参加するかどうかを予測する課題に対処すること。
• 会話文脈とユーザーの会話履歴が、再参加行動にどのように統合的に影響を与えるかを調査すること。
• 手作業で特徴を設計しないで、文脈と履歴の間の相互作用を捉えるエンドツーエンドのニューラルフレームワークを開発すること。
• モデルの性能をさまざまな会話長さの条件下で評価し、人間の予測能力と比較すること。

提案手法

• 会話文脈とユーザー履歴のそれぞれに別々のエンコーダーを備えた3層のニューラルフレームワークを設計し、その後にバイアテンション機構を適用してクロスモダリティ間の相互作用をモデル化する。
• バイアテンション機構は、文脈から履歴へ、および履歴から文脈へという両方向の注意重みを計算し、ユーザーの関心を現在の議論トピックに動的に整合させる。
• モデルは、表現の統合として連結、会話ターンごとの注意、メモリネットワーク、バイアテンションを統合し、教師あり学習を用いたエンドツーエンド訓練を実施する。
• 4つのバリエーションを評価：単純な連結、注意付きBiLSTM、メモリネットワーク付きBiLSTM、バイアテンション付きBiLSTM。その中で、バイアテンション付きのものが最も優れた性能を示した。
• フレームワークは、TwitterとRedditの2つの大規模データセットを用いて訓練およびテストされ、交差検証を用いてハイパーパrameterを最適化した。
• 同じ再参加予測タスクにおいて、モデルの性能を2名の人的アノテーターと比較する人間評価スタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 会話文脈とユーザーの会話履歴が、ユーザーの議論再参加確率にどのように統合的に影響を与えるか？
• RQ2 エンドツーエンド学習を用いるニューラルモデルは、手作業特徴に依存する従来手法を上回る性能を示せるか？
• RQ3 バイアテンション機構は、異なる文脈において、ユーザーの関心を進化する会話トピックと効果的に整合させることができるか？
• RQ4 人間の判断と比較して、モデルの性能は初回再参加行動の予測においてどの程度優れているか？

主な発見

• 提案されたバイアテンション付きモデルは、TwitterデータセットでF1スコア61.1を達成し、以前の最先端手法（F1 = 57.0）を上回った。
• 会話文脈およびユーザー履歴の長さが異なる状況においても、モデルは、手作業特徴を用いたすべてのベースラインを一貫して上回った。
• 注目度ヒートマップの結果から、バイアテンション機構は、ユーザーの関心（履歴から抽出）を現在の会話の関連トピックと効果的に整合させ、意味のある表現を学習していることが示された。
• 人間の性能はランダムな推測（50問中25正解）をわずかに上回る水準（50問中25正解）であったが、モデルはTwitterで50問中35正解を達成し、大規模データからの学習能力に優れていることが示された。
• モデルはTwitterよりもRedditでより高い性能を示した。これは、Redditの議論がより焦点的でフォーマルな構造を持っているため、トピックの特定が容易であり、モデルの性能向上に寄与していると考えられる。