[論文レビュー] Identifying Users with Opposing Opinions in Twitter Debates

Ashwin Rajadesingan, Huan Liu|arXiv (Cornell University)|Feb 28, 2014

Sentiment Analysis and Opinion Mining参考文献 7被引用数 11

ひとこと要約

本稿では、リツイート行動と最小限の人為的ラベル付きシードを活用して、Twitterの議論における意見が反対であるユーザーを同定する半教師ありフレームワークReLPを提案する。リツイートに基づくラベル伝搬と教師あり分類器を組み合わせることで、意見がやや強いユーザーでは95.01%、顕著に意見表明しているユーザーでは95.85%のF-measureを達成し、人為的作業を最小限に抑えながらベースラインを著しく上回る性能を発揮した。

ABSTRACT

In recent times, social media sites such as Twitter have been extensively used for debating politics and public policies. These debates span millions of tweets and numerous topics of public importance. Thus, it is imperative that this vast trove of data is tapped in order to gain insights into public opinion especially on hotly contested issues such as abortion, gun reforms etc. Thus, in our work, we aim to gauge users' stance on such topics in Twitter. We propose ReLP, a semi-supervised framework using a retweet-based label propagation algorithm coupled with a supervised classifier to identify users with differing opinions. In particular, our framework is designed such that it can be easily adopted to different domains with little human supervision while still producing excellent accuracy

研究の動機と目的

• Twitterにおけるステーク・ディテクションのための教師あり分類器を訓練する際の手作業ラベリングの負担を軽減すること。
• 最小限の監視情報で新しいドメインに適応可能なスケーラブルな半教師ありフレームワークを構築すること。
• 銃器改革のような対立的トピックにおいて、顕著な活動家からやや意見表明している一般ユーザーに至るまで、ユーザーのスケールにわたる正確な分類を実現すること。
• リツイートネットワークを意見の一致の代理として活用し、社会的ネットワーク構造を活かしてラベルを効率的に伝搬すること。
• 小さなシードユーザーのセット（例：政治家、団体）が、多様なユーザー集団全体で高精度な分類を可能にするかを実証すること。

提案手法

• ReLPは、少数の手動ラベル付きシードユーザーから出発し、リツイートに基づくラベル伝搬アルゴリズムを用いてユーザーの立場を推定する。
• ラベル伝搬ステップでは、リツイートネットワークを活用して、シードユーザーから接続されたユーザーへとラベルを拡散する。これは、リツイート行動における同質性（ホモフィリー）を仮定している。
• マルチノミアル・ナイーブ・ベイズ分類器を、リツイートされたラベルを訓練データとして用い、ツイート本文のユニグラム、ビグラム、トライグラムで学習する。
• フレームワークは、言語的専門知識を必要とせず、キーパーソナリティ（意見リーダー）のリストのみを必要とするため、ドメイン間で容易に移植可能である。
• 半教師あり学習と教師あり分類を組み合わせることで、人為的ラベルデータを最小限に抑えながら高精度な分類を実現する。
• 本手法は、顕著に意見表明しているユーザー（例：政治家）と、中程度に意見表明しているユーザー（例：2～4件のツイートを持つ一般ユーザー）の2つのユーザー群に対して評価された。

実験結果

リサーチクエスチョン

• RQ1 リツイートを用いた半教師ありラベル伝搬フレームワークは、人為的ラベルデータを最小限に抑えながら、対立的トピックにおけるユーザーの立場を効果的に同定できるか？
• RQ2 ReLPの性能は、Twitter上での顕著に意見表明しているユーザーと中程度に意見表明しているユーザーの両方に対して、教師ありベースラインと比較してどの程度優れているか？
• RQ3 意見表明の表現力や関与度に差がある多様なユーザー集団において、本フレームワークの性能はどの程度一貫性を保っているか？
• RQ4 ReLPの性能は、シードユーザーの選定や数にどの程度感受するか？
• RQ5 リツイート行動は、Twitterにおける政治的議論において意見の一致の信頼できる代理として機能するか？

主な発見

• ReLPは、意見が中程度に強いユーザーに対して95.01%のF-measureを達成し、ベースライン手法を著しく上回った。
• 顕著に意見表明しているユーザーに対しては、ReLPは95.85%のF-measureを達成し、ユーザーのタイプにわたる強力な一般化性能を示した。
• 本フレームワークのF-measureは、両方のユーザー群で一貫して高く維持されたが、ベースライン手法は性能の変動が見られた。
• ReLPの精度と再現率は、意見が中程度に強いユーザーに対してそれぞれ96.73%および93.36%であり、高い信頼性を示した。
• ReLPは、すべての評価指標でベースライン手法（B1, B2, B3）を上回り、特に顕著に意見表明しているグループで最大の差を示した。
• 結果から、リツイートネットワークが最小限のシードセットからラベルを効果的に伝搬でき、スケーラブルで正確なステーク検出を可能にすることが確認された。