[論文レビュー] Helping Crisis Responders Find the Informative Needle in the Tweet Haystack

Leon Derczynski, Kenny Meesters+2 more|arXiv (Cornell University)|Jan 29, 2018

Public Relations and Crisis Communication被引用数 7

ひとこと要約

本稿では、二段階の機械学習アプローチを用いて、情報性および実行可能性に基づき、危機関連ツイートを自動でフィルタリングするオープンソースツールEminaを提示する。本手法は、情報性のあるメッセージの識別において90%を超える正確性を達成し、8つの実行可能な情報カテゴリーにおいて50–70%の再現率を示しており、危機対応者によるノイズの低減に顕著な効果をもたらしている。

ABSTRACT

Crisis responders are increasingly using social media, data and other digital sources of information to build a situational understanding of a crisis situation in order to design an effective response. However with the increased availability of such data, the challenge of identifying relevant information from it also increases. This paper presents a successful automatic approach to handling this problem. Messages are filtered for informativeness based on a definition of the concept drawn from prior research and crisis response experts. Informative messages are tagged for actionable data -- for example, people in need, threats to rescue efforts, changes in environment, and so on. In all, eight categories of actionability are identified. The two components -- informativeness and actionability classification -- are packaged together as an openly-available tool called Emina (Emergent Informativeness and Actionability).

研究の動機と目的

• 情報過多の問題に対処し、関係のないソーシャルメディアコンテンツをフィルタリングすること。
• 情報性のあるメッセージを特定するだけでなく、それらを実行可能なコンテンツタイプに分類するシステムの開発。
• 危機対応者やデジタルボランティアが、大量のソーシャルメディアデータを効率的に処理できるように支援するオープンソースツールの作成。
• ニーズ、脅威、インfra構造の損傷など、運用上の関連性を持つメッセージを優先することで、災害発生時における状況認識の向上。
• メッセージの関連性と実行可能性を自動的かつスケーラブルに分類することで、危機関連ソーシャルメディアストリームのリアルタイムトリアージを可能にする。

提案手法

• 専門家によるフィードバックと先行研究に基づき情報性を定義し、情報性のラベル付けをクラウドソーシングタスクを用いて実施。
• ラベル付け済みデータを用いて、RBFカーネルを用いたSVM（RBF SVM）をトレーニングし、最適なパフォーマンスを得るためのハイパーパramータチューニングをグリッドサーチで実施。
• 情報性のあるメッセージを8つの事前に定義された実行可能性カテゴリー（例：ニーズ、脅威、インフラ）に分類する別個の分類システムを開発。
• 比較のためのベースラインとしてキーワードマッチングを用い、情報性と実行可能性の両方のフィルタリングを統合したパイプラインを構築。
• 実際の危機データセット（例：アーバータ・フラッds、ハリケーン・アイルマ）に本システムを適用し、実行可能な情報の時間的プロファイルを可視化して評価。
• 全システムをEminaとしてリリースし、危機対応チームや研究者による利用を想定し、GitHubでオープンソースとして提供。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、リアルタイムで危機関連ツイートの情報性と無情報性を効果的に区別できるか？
• RQ2 情報性のあるメッセージを、危機対応に役立つ具体的な実行可能性カテゴリーに分類するシステムの性能はどの程度か？
• RQ3 データの不均衡や高い分散に直面した場合、さまざまな分類器（例：RBF SVM、線形モデル）の性能はいかがなったか？
• RQ4 情報性フィルタリングと実行可能性分類の組み合わせは、対応者に提供される情報の質をどのように向上させるか？
• RQ5 危機の異なる段階において、共有される実行可能な情報の種類にどのような時間的パターンが見られるか？

主な発見

• RBF SVM分類器は、情報性のある危機関連ツイートを識別する際、90%を超える正確性を達成し、他のモデルおよびキーワードマッチングベースラインを上回った。
• 本システムは、8つの異なるカテゴリーにおいて、実行可能なメッセージの50%から70%を再現しており、運用上の関連性のあるコンテンツを効果的に特定していることが示された。
• C=20およびgamma=3でRBF SVMをチューニングした結果が最適なパフォーマンスを示し、このタスクではモデルの複雑さと一般化性能のバランスが極めて重要であることが明らかになった。
• 実行可能な情報の割合は時間経過とともに変化しており、2013年のアーバータ・フラッズの事例では、可視化により、危機発生段階に応じてメッセージの主な種別（例：ニーズ、脅威）が変化することが観察された。
• Ushahidiを用いた上位からのメッセージ要請でさえも、一部の危機モニタリング活動では、最大90%のメッセージが無関係であると判明しており、自動フィルタリングの必要性が強調された。
• Eminaツールは、情報性と実行可能性分類を統合したオープンソースの単一システムとして成功裏に実装されており、実際の危機状況での展開が可能である。