[論文レビュー] Using Gaussian Processes for Rumour Stance Classification in Social Media

Michał Łukasik, Kalina Bontcheva+4 more|arXiv (Cornell University)|Sep 7, 2016

Misinformation and Its Impacts被引用数 8

ひとこと要約

本稿では、一般化を向上させるために、複数のウワサ間で転移学習を活用する、マルチタスクガウス過程ベースの分類器を提案する。この手法は、特に限られたラベル付きデータが利用可能なターゲットウワサにおいて、ステークホルダの分布推定において最先端のベースラインを上回る性能を示す。マクロ平均F1スコアにおいて顕著な向上が得られている。

ABSTRACT

Social media tend to be rife with rumours while new reports are released piecemeal during breaking news. Interestingly, one can mine multiple reactions expressed by social media users in those situations, exploring their stance towards rumours, ultimately enabling the flagging of highly disputed rumours as being potentially false. In this work, we set out to develop an automated, supervised classifier that uses multi-task learning to classify the stance expressed in each individual tweet in a rumourous conversation as either supporting, denying or questioning the rumour. Using a classifier based on Gaussian Processes, and exploring its effectiveness on two datasets with very different characteristics and varying distributions of stances, we show that our approach consistently outperforms competitive baseline classifiers. Our classifier is especially effective in estimating the distribution of different types of stance associated with a given rumour, which we set forth as a desired characteristic for a rumour-tracking system that will warn both ordinary users of Twitter and professional news practitioners when a rumour is being rebutted.

研究の動機と目的

• 異なるウワサやデータセットに一般化可能な自動的で教師ありのステークホルダ分類器の開発を目的とする。
• リアルタイムのSNS会話におけるユーザーのステークホルダ（支持、否定、疑問）を分析することで、ウワサの真偽を検出することを目的とする。
• 低リソース環境下におけるウワサのステークホルダ分類において、ガウス過程を用いたマルチタスク学習の有効性を評価することを目的とする。
• 時間的順序と特徴工学（例：ブラウンクラスタ）の影響がステークホルダ分類性能に与える影響を評価することを目的とする。
• 限られたラベル付きデータが得られる新しいウワサに対する実用的導入シナリオを検討することを目的とする。

提案手法

• 本手法は、複数のウワサトピック間で情報を共有するため、内在的コリジョナリゼーションモデル（ICM）を用いたマルチタスクガウス過程分類器を採用する。
• 訓練および推論の段階でツイートの時間的順序を組み込み、ウワサ議論の順序的ダイナミクスを保持する。
• テキスト特徴量は、ボック・オブ・ワーズモデルよりも優れた意味的・構文的パターンを捉えることができるブラウンクラスタ埋め込みから抽出される。
• モデルは、過去にアノテート済みのウワサと、Leave Part Out設定ではターゲットウワサからの少数のラベル付きインスタンスを組み合わせて訓練される。
• 2つの実験設定を用いる：Leave One Out（ターゲットウワサからの訓練データなし）とLeave Part Out（ターゲットウワサからの少数のラベル付きインスタンスを訓練に含める）。
• フレームワークはGPyツールキットを用いて実装され、転移学習を活用して、最小限のラベル付きデータで未学習のウワサに一般化する。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付きデータで、新しい未学習のウワサにステークホルダ分類を効果的に一般化できるマルチタスクガウス過程分類器は存在するか？
• RQ2 ツイートの時間的順序を尊重することで、ウワサ議論におけるステークホルダ分類性能にどのような影響を与えるか？
• RQ3 ボック・オブ・ワーズ表現と比較して、ブラウンクラスタ特徴量がステークホルダ分類性能にどの程度向上効果をもたらすか？
• RQ4 特にクラスが不均衡なデータセットにおいて、ステークホルダタイプ（支持、否定、疑問）の分布をどれほど正確に推定できるか？
• RQ5 ターゲットウワサからのラベル付きデータが完全に存在しない状況では、ガウス過程分類器と従来のベースラインのどちらが優れた性能を示すか？

主な発見

• GP-ICM分類器は、マクロ平均F1スコアにおいて、競合するベースラインを顕著に上回り、ウワサ間でのステークホルダタイプの分布推定能力が優れていることが示された。
• Leave Part Out設定では、ターゲットウワサからの少数のラベル付きツイートが訓練に含まれるが、GP-ICMは最も高い性能を達成しており、最小限のラベル付きデータからの一般化能力が強いことが示された。
• ターゲットウワサからのラベル付きデータが一切ない状況（Leave One Out）においても、GP-ICMは競争力のある性能を維持しているが、MaxEnt やランダムフォレストなどの他の分類器が、極めてリソースが限られた状況ではより優れた性能を示した。
• ブラウンクラスタ特徴量の使用は、ボック・オブ・ワーズ特徴量よりも優れた性能をもたらし、ステークホルダ分類において意味的表現の重要性を強調している。
• 分類器がクラス分布を適切にバランスさせられる能力が、特に偽りである可能性が高い高頻度で議論されるウワサを信頼性高く検出できる点で、主な強みである。
• 結果から、新しいウワサから少数のラベル付きインスタンスを入手できる状況では、GP-ICMが最も実用的で適した選択肢であると示唆された。