[論文レビュー] Learning Latent Local Conversation Modes for Predicting Community Endorsement in Online Discussions

Hao Fang, Hao Cheng+1 more|arXiv (Cornell University)|Aug 16, 2016

Topic Modeling参考文献 25被引用数 4

ひとこと要約

本稿では、反応タイミングやリプライグラフなどのローカルな議論構造から、隠れられた議論モードを学習するニューラルネットワークモデルを提案する。このモデルは、投稿文脈を隠れモードの重み付き組み合わせとしてモデル化し、モードに依存するゲートを用いてテキスト特徴量の重みを動的に調整することで、オンラインフォーラムにおけるコミュニティの支持（例：Redditのkarma）の予測精度を向上させるとともに、解釈可能性を提供する。その結果、低活動な議論領域におけるコメントでは、テキストコンテンツが最も予測に寄与することが示された。

ABSTRACT

Many social media platforms offer a mechanism for readers to react to comments, both positively and negatively, which in aggregate can be thought of as community endorsement. This paper addresses the problem of predicting community endorsement in online discussions, leveraging both the participant response structure and the text of the comment. The different types of features are integrated in a neural network that uses a novel architecture to learn latent modes of discussion structure that perform as well as deep neural networks but are more interpretable. In addition, the latent modes can be used to weight text features thereby improving prediction accuracy.

研究の動機と目的

• テキストコンテンツと構造的反応パターンの両方を用いて、オンライン議論におけるコミュニティの支持を予測すること。
• 反応構造とタイミングに基づいて、隠れられた議論モードを特定することで、議論スレッドの動的性質をモデル化すること。
• 異なる議論文脈におけるテキスト特徴量の重要度の変化を学習することで、予測精度を向上させること。
• 支持度と相関する意味のある、データ駆動型の議論行動モードを発見することで、解釈可能性を提供すること。
• 構造的ヒント（例：リプライ数、タイミング）がコメントコンテンツのコミュニティの賛同度（upvotes）に与える影響がどのように変化するかを調査すること。

提案手法

• 各コメントのローカルな議論文脈を、グラフ特徴量（例：子ノード数、部分木の高さ）とタイミング特徴量（例：ルートからの経過時間、親ノードからの経過時間）を用いて表現する。
• コミュニティの支持（karma）からの弱い教師信号を用いて、議論スレッド内の共通する構造的パターンを表す隠れ基底ベクトル（議論モード）を学習する。
• 各コメントの文脈を、これらの隠れモードの重み付き線形結合としてモデル化することで、構造的ダイナミクスの分離表現を可能にする。
• 学習された隠れモードに応じてテキスト特徴量の寄与度を調整する動的ゲートメカニズムを導入し、文脈依存のテキスト重要度を実現する。
• ゲーテッドテキスト特徴量と構造的文脈表現の両方を用いて、支持度予測を共同最適化するニューラルネットワークを訓練する。
• karmaの量子化されたレベルをラベルとし、各支持度バケットごとにバイナリ分類器を訓練し、サブレdditごとにF1スコアでモデルの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 オンライン議論スレッドにおける異なる構造的パターン（例：タイミング、リプライ数）は、コミュニティの支持度とどのように相関するか？
• RQ2 コミュニティの支持度をシグナルとして用いる弱教師付きの方法で、議論構造の隠れモードを学習できるか？
• RQ3 テキストコンテンツの支持度予測に対する相対的な重要度は、コメントの構造的文脈によって変化するか？
• RQ4 モードに依存するゲーティングメカニズムは、テキスト特徴量と構造的特徴量を固定重みで融合する手法よりも予測精度を向上させるか？
• RQ5 リプライ数や構造的ダイナミクスだけでも支持度を予測できる程度はどの程度か？また、テキストを組み込むことで性能はどの程度向上するか？

主な発見

• 本モデルは、AskMenサブレdditにおいて、中程度の支持度（F1スコア0.87）、高水準の支持度（F1スコア0.67）、低水準の支持度（F1スコア0.85）の予測で優れた性能を示した。
• 高karmaのコメントは、通常、議論の初期に投稿されており、広い部分木（多数の直接リプライ）を持つことが多く、活発な議論領域を示している。
• 低karmaのコメントは、議論の後半に投稿されやすく、浅い部分木を持つことが多く、関与度が低く、読者が少ないことを示唆している。
• 高karmaのコメントでは、テキストゲート値が一貫して低く抑えられており、コメントが高活動な議論モードにある場合にはコンテンツの重要度が相対的に低くなる傾向がある。
• 隠れモード表現は、サブレddit全体にわたり意味のある構造的パターンを捉えており、早期/遅刻投稿および高/低関与のクラスタが明確に分かれている。
• ゲーティングモデルは、文脈に応じてテキストの影響を動的に調整することで、ベースラインを上回る性能を示しており、構造的文脈がテキストコンテンツの有用性を調整していることが示された。