[論文レビュー] Something's Brewing! Early Prediction of Controversy-causing Posts from Discussion Features

Jack Hessel, Lillian Lee|arXiv (Cornell University)|Apr 15, 2019

Topic Modeling参考文献 35被引用数 6

ひとこと要約

この論文は、Redditの議論の最初の15分間のテキスト的特徴と構造的特徴（例：コメントツリーの深さ、返信レート）を活用して、議論が論争的になるかどうかを早期に予測するモデルを提案する。4〜5件の初期コメントがある状態でも、構造的およびレート特徴が、コンテンツのみに依存するベースラインをはるかに上回る予測性能を示し、テキスト特徴と比較して、コミュニティ間での一般化性能が優れていることがわかった。

ABSTRACT

Controversial posts are those that split the preferences of a community, receiving both significant positive and significant negative feedback. Our inclusion of the word "community" here is deliberate: what is controversial to some audiences may not be so to others. Using data from several different communities on reddit.com, we predict the ultimate controversiality of posts, leveraging features drawn from both the textual content and the tree structure of the early comments that initiate the discussion. We find that even when only a handful of comments are available, e.g., the first 5 comments made within 15 minutes of the original post, discussion features often add predictive capacity to strong content-and-rate only baselines. Additional experiments on domain transfer suggest that conversation-structure features often generalize to other communities better than conversation-content features do.

研究の動機と目的

• 投稿の内容に依存せず、初期の議論特徴に基づいて、Reddit投稿が議論的になるかどうかを予測すること。
• 投稿本文以外の初期議論のダイナミクスが、将来的な議論的性質を示す兆候となるかどうかを調査すること。
• 特に低データまたはゼロショット設定下で、予測特徴が異なるサブレディット間でどれほど一般化可能かを評価すること。
• コミュニティ間で、構造的およびレートベースの特徴がテキストベースの特徴よりも優れた一般化性能を示すかどうかを検証すること。
• コミュニティモデレーターやユーザーが、分断的になり得るコンテンツの早期警告を可能にする実用的インサイトを提供すること。

提案手法

• モデルは、元の投稿および初期コメントからのテキスト特徴（例：感情、トピック、語彙的多様性）に加え、コメントツリーの構造的特徴（例：深さ、分岐度、返信数）を組み合わせて使用する。
• コメントの発生レート特徴（1分あたりのコメント数、返信レートなど）を組み込み、議論の初期段階での関与の急増を検出することで、議論的兆候を捉える。
• 投稿公開後、複数の時間点（例：t=60、180秒）でバイナリ分類器を訓練し、その時間窓内で入手可能な特徴を用いて、将来的な議論的性質を予測する。
• F1スコアと正答率を用いて性能を評価し、構造的特徴を含む・含まないモデルを比較。また、あるサブレディットで学習し、別のサブレディットでテストするドメイン移行を検証する。
• 特徴の頑健性を評価するため、6つのサブレディットで、テキスト、ツリー、レート特徴を個別に学習したモデルと、それらを組み合わせたモデルの性能を比較する。
• ポピュラリティ予測モデルと比較するためのオラクルベースラインを用い、議論的性質予測とポピュラリティ予測が、重複のない異なるパターンを学習していることを示した。

実験結果

リサーチクエスチョン

• RQ1 投稿本文以外の初期議論特徴が、オンライン議論における将来的な議論的性質の予測を改善できるか？
• RQ2 初期コメントツリーの構造的およびレートベース特徴は、テキスト特徴と比較して、予測力およびコミュニティ間一般化性能においてどのように差を示すか？
• RQ3 テキストベース特徴は、異なるサブレディット間で移行した際にどれほど性能が低下するか。一方、ツリーおよびレートベース特徴はそのような状況でどのように振る舞うか？
• RQ4 コンテンツのみに依存するモデルと、初期議論の構造的ダイナミクスを含むモデルとの間に、顕著な性能差が生じるか？
• RQ5 15分以内に最初の5件のコメントしか得られないような最小限のデータでも、議論的性質の早期予測を信頼性を持って達成できるか？

主な発見

• テキスト、ツリー、レート特徴の初期議論特徴を組み込むことで、コンテンツのみのベースラインと比較して、議論的性質予測の性能が顕著に向上する。これは、15分以内に4〜5件のコメントがある状態でも同様に成立する。
• t=180秒時点で、最良のモデル（C-(TEXT+TREE+RATE)）は、AskMenサブレディットでF1スコア60.1％を達成し、投稿のみのベースラインを上回り、場合によってはポピュラリティオラクルをも上回った。
• テキストベース特徴は、ドメイン内での性能が最も高いが、非常に脆弱である：AskWomenからAskMenに移行すると正答率が63％低下し、コミュニティ特有の性質が強いことが示された。
• これに対して、レートおよびツリー特徴は顕著に優れた移行性を示し、AskMenとAskWomenの間での移行でも、性能低下が最小限（例：10％未満の低下）にとどまった。
• レートおよびツリー特徴のみを用いたモデル（C-(TREE+RATE)）は、いかなるテキストベースモデルよりも優れたコミュニティ間一般化性能を示し、構造的ダイナミクスが議論的性質を普遍的に示す指標である可能性を示唆した。
• ポピュラリティ予測で学習したモデルですら、議論的性質予測モデルの性能を上回ることはできず、議論的性質とポピュラリティは、異なる初期信号を持つ、独立した現象であることが示された。