[論文レビュー] Event Detection and Retrieval on Social Media

Manos Schinas, Symeon Papadopoulos+2 more|arXiv (Cornell University)|Jul 10, 2018

Web Data Mining and Analysis参考文献 54被引用数 4

ひとこと要約

本稿は、ソーシャルメディアにおけるイベント検出およびリトリーブ手法について包括的なサーベイを提示しており、マルチモーダルストリームから現実世界のイベントを同定するための特徴ピボット、ドキュメントピボット、トピックモデリングアプローチに焦点を当てる。主な構成要素として、マルチモーダル特徴表現、意味的類似度、クラスタリング、コンテンツランク付けを強調し、公開評価データセットの不足やクロスプラットフォームの一貫性の欠如といった重要な課題を特定する。

ABSTRACT

In the recent years, we have witnessed the rapid adoption of social media platforms, such as Twitter, Facebook and YouTube, and their use as part of the everyday life of billions of people worldwide. Given the habit of people to use these platforms to share thoughts, daily activities and experiences it is not surprising that the amount of user generated content has reached unprecedented levels, with a substantial part of that content being related to real-world events, i.e. actions or occurrences taking place at a certain time and location. Given the key role of events in our life, the task of annotating and organizing social media content around them is of crucial importance for ensuring real-time and future access to multimedia content about an event of interest. In this chapter, we present several research efforts from recent years that tackle two main problems: a) event detection and b) event-based media retrieval and summarization. Given archived collections or live streams of social media items, the purpose of event detection methods is to identify previously unknown events in the form of sets of items that describe them. In general, the events could be of any type, but there are also approaches aiming at events of specific type. Given a target event the goal of event summarization is first to identify relevant content and then to represent it in a concise way, selecting the most appealing and representative content.

研究の動機と目的

• Twitter、Flickr、YouTubeなどのプラットフォームから得られる大規模でノイジーなソーシャルメディアコンテンツにおいて、現実世界のイベントを検出する課題に対処すること。
• 特定のイベントに関連するマルチメディアコンテンツ（画像、動画、テキスト）をリアルタイムまたはアーカイブから整理および検索すること。
• マルチモーダルデータおよび一貫性のないメタデータに対処できる、堅牢なイベント検出および要約手法の開発。
• 効果的なシステム設計のための、特徴表現、類似度計算、クラスタリング、コンテンツランク付けといった主要な手法的要素を同定すること。
• 公開評価データセットの不足と、比較的な研究に向けたクロスプラットフォームで持続可能なベンチマークの必要性を強調すること。

提案手法

• 視覚的またはテキスト的特徴（例：単語、タグ）の異常な頻度の急増を検出することで、発生中のイベントを特定する特徴ピボット手法を用いる。
• 類似度測定（例：コサイン類似度、ジャカード係数）を用いたドキュメントピボットクラスタリングにより、関連するマルチメディアアイテムをイベントクラスタにグループ化する。
• LDAなどのトピックモデリング技術を用いて、ソーシャルメディアストリームのテキストおよびメタデータから潜在的なイベントトピックを発見する。
• Bag-of-Words、Bag-of-Visual-Words、およびディープラーニング特徴（例：CNN埋め込み）を含むマルチモーダル特徴を統合し、表現の向上を図る。
• k-means、DBSCAN、スペクトルクラスタリングなどのクラスタリングアルゴリズムを用いて、アイテムをイベント固有のグループに割り当てる。ノイズ処理のための選択的クラスタリングオプションも利用可能。
• 関連性、多様性、品質を優先順位付けするコンテンツランク付けモデルを用い、効果的なイベント要約を実現する。個人化や信頼性評価の可能性も含む。

実験結果

リサーチクエスチョン

• RQ1 大規模でノイジーなソーシャルメディアストリームにおいて、マルチモーダルデータを用いて現実世界のイベントを自動で検出する方法は何か？
• RQ2 関連するマルチメディアアイテムを一貫性のあるイベントクラスタにグループ化するための、最も効果的な特徴表現と類似度測定は何か？
• RQ3 パーティショニングクラスタリングと選択的クラスタリングなどの異なるクラスタリング戦略は、イベント検出のパフォーマンスにどのように影響するか？
• RQ4 意味的および学習された類似度モデルは、イベント検出およびリトリーブの正確性を向上させるために果たす役割は何か？
• RQ5 イベント検出およびリトリーブシステムの評価における主な課題は何か。また、公開され、持続可能でクロスプラットフォーム対応のデータセットをどのように開発できるか？

主な発見

• 特徴ピボット手法は、ハッシュタグやビジュアルワードのような特徴の頻度の異常な急増を検出し、突然発生した現実世界の出来事の兆候としてイベントを検出する。
• コサイン類似度やジャカード係数を用いたドキュメントピボットクラスタリングは、固有表現やタグが追加された場合に特に効果的に関連コンテンツをグループ化する。
• LDAなどのトピックモデリングアプローチは、テキストコンテンツから潜在的なイベントトピックを発見し、Twitterのようなテキスト主体のプラットフォームでの検出を向上させる。
• ディープラーニング特徴（例：CNN埋め込み）は、視覚的コンテンツ表現においてますます重要になってきており、多くの場合、従来のBoVWを上回る性能を示している。
• 公開され、持続可能でクロスプラットフォーム対応の評価データセットの不足は、依然として主要なバッテリーである。これは、人的作業が大幅に必要で、コンテンツの劣化の問題を抱えている。
• ユーザーの関連性に重要であるにもかかわらず、イベント要約におけるパーソナライゼーション、信頼性評価、アート的な質の研究のギャップが顕著である。