[論文レビュー] Distant Supervision for Topic Classification of Tweets in Curated Streams

Salman Mohammed, Nimesh Ghelani+1 more|arXiv (Cornell University)|Apr 22, 2017

Misinformation and Its Impacts参考文献 5被引用数 5

ひとこと要約

本論文は、トピックに焦点を当てた人為的カスタム Twitter フィードを活用して、トレーニング用のノイズの多いトピックラベルを自動生成する、新しい遠隔監視手法を提案する。これらのラベルを用いてロジスティック回帰モデルをトレーニングし、最近のトレーニングインスタンスに重みを付けることで、分類性能が著しく向上——F1スコアの向上とトピックの変化への動的適応が達成される。手動アノテーションを一切行わず、ほぼ「無料」で実現される。

ABSTRACT

We tackle the challenge of topic classification of tweets in the context of analyzing a large collection of curated streams by news outlets and other organizations to deliver relevant content to users. Our approach is novel in applying distant supervision based on semi-automatically identifying curated streams that are topically focused (for example, on politics, entertainment, or sports). These streams provide a source of labeled data to train topic classifiers that can then be applied to categorize tweets from more topically-diffuse streams. Experiments on both noisy labels and human ground-truth judgments demonstrate that our approach yields good topic classifiers essentially "for free", and that topic classifiers trained in this manner are able to dynamically adjust for topic drift as news on Twitter evolves.

研究の動機と目的

• リアルタイムのコンテンツ配信を目的とした、ノイズが多くトピックが散逸した Twitter フィードにおけるトピック分類の課題に対処すること。
• 既存の人工的にカスタムされたトピック焦点型 Twitter アカウントを弱い監視のソースとして活用することで、高価な手動ラベリングに依存するのを減らすこと。
• 進化するソーシャルメディアコンテンツにおけるトピックの変化に動的に適応できる手法を開発すること。
• 遠隔監視データの増加量と、そのデータの新鮮さの違いが分類性能に与える影響を評価すること。
• トレーニングインスタンスに新鮮さに基づく重み付けを施すことによって、分類器の性能を向上させること。

提案手法

• 遠隔監視を用いて、トピックに焦点を当てた Twitter アカウント（例：@cnn, @ESPN）を、弱いラベル付きトレーニングデータのソースとして特定する。
• これらのカスタムフィードからツイートを収集し、フィードの編集的焦点に基づいてトピックラベルを割り当てることでトレーニングデータセットを構築する。
• 自動的にラベル付けされたこれらのツイートを用いてロジスティック回帰分類器をトレーニングし、より一般的でトピックが散逸したフィードからのコンテンツを分類する。
• 指数関数的減衰関数を用いてトレーニングインスタンスに時間的重み付けを施す。ここでは、より新しいツイートに高い重みが与えられ、パラメータ p=10 でパrameter化される。
• 性能の妥当性を検証するため、フィードの焦点に基づいて導出されたノイズの多いラベルと、人為アノテートされた真値データの両方でモデルを評価する。
• トレーニングデータを時系列的に分割することで、データの新鮮さと量が分類性能に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 カスタムされ、トピックに焦点を当てた Twitter フィードを用いた遠隔監視は、ツイートのトピック分類のトレーニングラベルを効果的に生成できるか？
• RQ2 遠隔監視データの量が、トピック分類器の性能に与える影響は何か？
• RQ3 トピックの変化が生じる状況下で、より新しいデータでトレーニングすることにより、分類性能がどの程度向上するか？
• RQ4 最近のトレーニングインスタンスに重み付けを施すことで、分類器の F1 スコアに測定可能な向上が得られるか？
• RQ5 ノイズの多いラベルの結果と、人為アノテートされた真値の結果の間には、どのような差異があるか？

主な発見

• 遠隔監視から得られるより大きなトレーニングデータセットを用いることで、F1、精度、再現率のスコアが上昇するなど、分類器の性能が著しく向上する。
• より新しいデータでトレーニングすると、F1 スコアに一貫した向上が見られ、古いデータを使用した場合にトピックの変化が性能に悪影響を及えることが示された。
• p=10 で最近のトレーニングインスタンスに重み付けを施すことで、F1 スコアに顕著な向上が得られた：健康分野で +0.16、科学分野で +0.14、ビジネス分野で +0.13（人為アノテートデータベース）。
• 人為アノテートされた真値データベースでも、F1 スコアが最大で 0.16 向上するなど、強力な性能を発揮した。これは、遠隔監視によるラベルの妥当性を裏付けた。
• 新鮮さに配慮したトレーニングによる一貫した向上から、本手法がトピックの変化に効果的に適応できることを示しており、リアルタイムのニュース分類に適していることが示された。
• 低リソース分野である科学分野でさえも、低頻度であるにもかかわらず、重み付けトレーニングを用いることで測定可能な性能向上（F1 スコア +0.14）を達成した。