[論文レビュー] SAVITR: A System for Real-time Location Extraction from Microblogs during Emergencies

Ritam Dutt, Kaustubh Hiware+2 more|arXiv (Cornell University)|Jan 23, 2018

Public Relations and Crisis Communication参考文献 8被引用数 7

ひとこと要約

SAVITR は、緊急時における非構造的英語のマイクロブログ（ツイート）から地理的場所をリアルタイムで抽出する自律的自然言語処理を用いたシステムであり、Fスコア 0.79 を達成し、既存のツールと比較して処理速度が2桁以上速く、緊急監視のためのスケーラブルな展開を可能にするライブWebインターフェースを備えている。

ABSTRACT

We present SAVITR, a system that leverages the information posted on the Twitter microblogging site to monitor and analyse emergency situations. Given that only a very small percentage of microblogs are geo-tagged, it is essential for such a system to extract locations from the text of the microblogs. We employ natural language processing techniques to infer the locations mentioned in the microblog text, in an unsupervised fashion and display it on a map-based interface. The system is designed for efficient performance, achieving an F-score of 0.79, and is approximately two orders of magnitude faster than other available tools for location extraction.

研究の動機と目的

• インドでは僅か 0.36% のみが地理的座標付きツイートであるという現状を踏まえ、緊急時におけるツイート本文からの場所推定を目的とする。
• 時間的に敏感な緊急事態に適した、高速で自律的な方法を用いてリアルタイムでの場所抽出を実現することを目的とする。
• 地理的座標付きデータを超えて、特に代表が不足している地域のカバレッジと正確性を向上させることを目的とする。
• 緊急時における状況認識を高めるために、推定された場所を地図上に可視化するスケーラブルでインタラクティブなシステムを構築することを目的とする。
• 疾病の流行など、新たな緊急事態の早期警戒としての有効性を実証することを目的とする。

提案手法

• 地理的座標付きフィールドに依存せずに、ツイート本文からの場所の記述を抽出するために、自律的自然言語処理を用いる。
• GeoNames を用いたガゼテアリウムベースの照合により、抽出されたフレーズを有効な地理的エンティティにマッチングする。
• マッチング精度を向上させるために、名詞句抽出と正規化を含むテキスト前処理を実施する。
• 同音異義語や重複する場所名の処理のため、ルールベースの曖昧性解消戦略を統合する。
• リアルタイムでインタラクティブに推定された場所を地図上に可視化するために、DashフレームワークとMapboxを統合する。
• 高スループットのツイートストリームを低遅延で処理できる、軽量でスケーラブルなアーキテクチャを設計する。

実験結果

リサーチクエスチョン

• RQ1 自律的NLP技術は、緊急時における非構造的マイクロブログテキストから地理的場所を効果的に抽出できるか？
• RQ2 提案手法の性能は、Fスコア、再現率、適合率の観点で、既存の場所抽出ツールと比較してどの程度優れているか？
• RQ3 地理的座標付きデータの制限を超えて、場所のカバレッジをどの程度向上できるか？
• RQ4 システムのリアルタイム処理の効率性はどの程度で、ライブ展開に耐えうるスケーラビリティを備えているか？
• RQ5 システムは、疾病の流行のような新たな緊急事態の早期警戒として機能できるか？

主な発見

• 提案手法は Fスコア 0.79 を達成し、ツイートからの場所抽出において、ベースライン手法よりも適合率と再現率の両方で優れていた。
• システムはデータセット全体で約 26.15% のカバレッジを達成し、239,276 件のツイートのうち 68,793 件で場所を推定した。これは、地理的座標付きのベースライン（0.36%）に比べ顕著な向上である。
• 既存ツールと比較して、ツイートの処理速度が約2桁以上速く、リアルタイムでの緊急監視に適した性能を示した。
• OpenStreetMap を用いた手法は、再現率が最も高く（85.7%）も、適合率が最も低かった（44.4%）。これは、一般的なフレーズを場所として過剰に分類していたためである。
• 2017年のデングエイビの流行時、SAVITR は ケララ州を示すツイートを 2,204 件検出。そのうち 88.92% が「デングエイビ」という語も含んでおり、早期警戒の可能性が裏付けられた。
• システムは、インドの主要都市だけでなく、ガトコパル、ガンツール、ピプラ村のような地方的・ニッチな場所も正常に特定した。