[論文レビュー] Characterizing and curating conversation threads: Expansion, focus, volume, re-entry

Lars Bäckström, Jon Kleinberg+2 more|arXiv (Cornell University)|Apr 16, 2013

Speech and dialogue systems被引用数 42

ひとこと要約

本稿では、ネットワーク構造、コメントのタイミング、ユーザの特異性を用いて、オンラインディスカッションのスレッド長とユーザの再参加を予測する学習ベースの手法を提案する。長スレッドには、活発に参加するユーザが少ない「集中型」と、多数の1回限りコメント者が参加する「拡張型」の二峰性分布が存在することが特定され、特にFacebookおよびWikipediaのデータにおいて、これらの特徴を用いることで、スレッド長および再参加予測の性能が顕著に向上することが示された。

ABSTRACT

Discussion threads form a central part of the experience on many Web sites, including social networking sites such as Facebook and Google Plus and knowledge creation sites such as Wikipedia. To help users manage the challenge of allocating their attention among the discussions that are relevant to them, there has been a growing need for the algorithmic curation of on-line conversations --- the development of automated methods to select a subset of discussions to present to a user. Here we consider two key sub-problems inherent in conversational curation: length prediction --- predicting the number of comments a discussion thread will receive --- and the novel task of re-entry prediction --- predicting whether a user who has participated in a thread will later contribute another comment to it. The first of these sub-problems arises in estimating how interesting a thread is, in the sense of generating a lot of conversation; the second can help determine whether users should be kept notified of the progress of a thread to which they have already contributed. We develop and evaluate a range of approaches for these tasks, based on an analysis of the network structure and arrival pattern among the participants, as well as a novel dichotomy in the structure of long threads. We find that for both tasks, learning-based approaches using these sources of information yield improvements for all the performance metrics we used.

研究の動機と目的

• ユーザの注目管理という課題に応えるために、オンラインディスカッションスレッドのキュレーションを改善するための、注目すべきサブ問題を同定すること。
• スレッド長（参加度の代理指標として）と、初期参加後ユーザが再参加するかどうかを形式化し、解く2つの核心的問題を明確にすること。
• 長スレッドにおける構造的二分法（集中型：少数の活発な参加者 vs. 拡張型：多数の1回限りコメント者）を理解し、キュレーションに与える影響を解明すること。
• ネットワーク、時間的、言語的特徴を統合した学習ベースのモデルを構築し、予測性能を向上させること。
• スレッドが持続的な関心を引きつける可能性があること、およびユーザが再参加する可能性があることを特定することで、ディスカッションフィードのアルゴリズム的キュレーションを改善すること。

提案手法

• FacebookおよびWikipediaのディスカッションスレッドを分析し、異なるコメント者数の二峰性分布を特定し、集中型と拡張型スレッドを区別すること。
• コメントの到着パターン、参加者間のネットワーク構造、およびテキスト特異性（ユニグラム言語モデルに基づく）といった特徴を用いて、スレッド長の予測モデルを構築すること。
• 最初のコメント者の特異性を測定することで再参加を予測する。特異性とは、あるユーザの投稿に対して「最初にコメントする」頻度が低いこと（ユーザレベルの頻度統計に基づく）を指す。
• 構造的、時間的、言語的特徴を統合する学習ベースのアプローチ（例：ロジスティック回帰または類似モデル）を用いて、両方の予測タスクを実行すること。
• FacebookおよびWikipediaの実世界データセットを用いて、マクロ平均性能指標を用いてモデルを評価すること。
• ユーザの再参加パターンや投稿テキストのレアリティ（単語の対数確率）といった特徴を組み込むことで、スレッド進化における社会的および言語的サインを捉えること。

実験結果

リサーチクエスチョン

• RQ1 長スレッドは、自然に集中型（少数の活発な参加者）と拡張型（多数の1回限りコメント者）という2つの明確な構造的タイプに分かれるものなのか、それとも単なる認知バイアスに過ぎないのか？
• RQ2 ネットワーク構造、コメントのタイミング、テキスト特異性といった初期段階の特徴は、スレッドの最終的な長さを効果的に予測できるか？
• RQ3 最初のコメントの特異性と、それまでの相互作用パターンに基づいて、ユーザがスレッドに再参加する可能性を予測できるか？
• RQ4 言語的特徴（例：投稿における語のレアリティ）はスレッド長と相関を示すか？また、FacebookやWikipediaのような異なるプラットフォーム間でその相関は異なるか？
• RQ5 ユーザレベルのパターン（例：ある投稿者に対して「最初にコメントする」頻度）は、スレッドの長期間化とユーザ再参加をどの程度まで予測できるか？

主な発見

• 長スレッドは、コメント者数に二峰性分布を示しており、集中型と拡張型スレッドという構造的二分法が実在することを確認した。
• Facebookでは、言語的に特異性の高いテキスト（ユニグラムモデルにおける低い確率）を持つ投稿は、より長いスレッドを予測するが、Wikipediaではそのような影響は認められない。これは、タスク指向のディスカッションスタイルによるものと推察される。
• Facebookでは、あるユーザの投稿に対して「最初にコメントする」頻度が低い（つまり、非常に特異な）最初のコメント者と、より長いスレッドが強く関連している。これは、より広範な影響力や新規性があることを示唆している。
• Wikipediaでは逆の傾向が観察された：頻繁に最初にコメントするユーザは、より長いスレッドに関連しており、プラットフォーム固有のダイナミクスであることが示された。
• 最初のコメント者の特異性を用いることで、再参加予測の性能が顕著に向上し、Facebookでは、レアな最初のコメント者に対してスレッド長が明確に上昇するトレンドが確認された。
• ネットワーク構造、時間的パターン、言語的特徴を統合した学習ベースのモデルは、スレッド長予測および再参加予測の両方において、すべての性能指標でベースライン手法を上回った。