[論文レビュー] Floods Detection in Twitter Text and Images

Naina Said, Kashif Ahmad+3 more|arXiv (Cornell University)|Nov 30, 2020

Flood Risk Assessment and Management参考文献 8被引用数 4

ひとこと要約

本稿では、テキスト的および視覚的特徴を統合することで、イタリア語のTwitterデータにおける洪水関連イベントを検出するマルチモーダル手法を提示する。BERT、Bag-of-Words（BoW）、および事前学習済みの畳み込みニューラルネットワーク（DenseNet、VGG、ResNet）を用いて特徴抽出を行い、スコアをラテントファージョンにより統合し、開発セットでF1スコア0.80を達成した。これは、マルチモーダル統合手法が単一モーダル手法を上回ることを示している。

ABSTRACT

In this paper, we present our methods for the MediaEval 2020 Flood Related Multimedia task, which aims to analyze and combine textual and visual content from social media for the detection of real-world flooding events. The task mainly focuses on identifying floods related tweets relevant to a specific area. We propose several schemes to address the challenge. For text-based flood events detection, we use three different methods, relying on Bog of Words (BOW) and an Italian Version of Bert individually and in combination, achieving an F1-score of 0.77%, 0.68%, and 0.70% on the development set, respectively. For the visual analysis, we rely on features extracted via multiple state-of-the-art deep models pre-trained on ImageNet. The extracted features are then used to train multiple individual classifiers whose scores are then combined in a late fusion manner achieving an F1-score of 0.75%. For our mandatory multi-modal run, we combine the classification scores obtained with the best textual and visual schemes in a late fusion manner. Overall, better results are obtained with the multimodal scheme achieving an F1-score of 0.80% on the development set.

研究の動機と目的

• テキストおよび視覚的コンテンツを用いて、イタリア語のTwitterデータにおける現実世界の洪水イベントを検出するマルチモーダルシステムの開発。
• 洪水検出において、単一モーダル手法（テキストのみ、画像のみ）とマルチモーダル統合手法の有効性を評価すること。
• テキストおよび視覚的データにおけるクラス不均衡を、合成データ増強のためのSMOTEを用いて解消すること。
• イタリア語のテキスト表現において、伝統的なBoWと深層学習ベースのBERTの比較。
• 複数のモデルのスコアを統合するラテントファージョン戦略を検討し、分類性能を向上させること。

提案手法

• テキスト特徴はBag-of-Words（BoW）および微調整済みイタリア語BERTを用いて抽出され、それぞれに対してナイーブベイズおよびロジスティック回帰分類器を訓練する。
• 視覚的特徴は、ImageNetで事前学習済みの3つの畳み込みニューラルネットワーク（DenseNet、VGG-19、ResNet）を用いて抽出され、これらの特徴に基づいてSVM分類器を訓練する。
• クラス不均衡はSMOTEを用いて緩和され、少数クラス（洪水）が3倍に増強されてデータセットがバランスされる。
• ラテントファージョンでは、個々のモデルからの後方確率を平均化して統合され、マルチモーダル実行ではすべてのモデルに等しい重みが割り当てられる。
• 最終的なマルチモーダルシステムは、最良の性能を示したテキストおよび画像モデルをラテントファージョンにより統合し、検出精度を向上させる。
• すべてのモデルは、特定のイタリア地域における洪水関連性を焦点にした、関連画像を備えたイタリア語のツイートデータセット上で訓練および評価される。

実験結果

リサーチクエスチョン

• RQ1 イタリア語のTwitterからのテキスト的および視覚的特徴の組み合わせは、単一モーダル手法と比較して、洪水検出性能を向上させることができるか？
• RQ2 伝統的なBoWと比較して、イタリア語BERTモデルは、イタリア語の洪水関連ツイートを分類する際にどの程度効果的か？
• RQ3 視覚的特徴に学習された複数のディープラーニングモデルのラテントファージョンは、個々のモデルを上回る性能を示すか？
• RQ4 データの不均衡はモデル性能にどの程度影響を及ぼすか？また、SMOTEはテキストおよび画像分類の両方において、この問題を効果的に緩和できるか？
• RQ5 等しい重みを割り当てたマルチモーダルラテントファージョンは、最良の単一モーダルベースラインを常に上回るF1スコアを達成するか？

主な発見

• マルチモーダルラテントファージョン手法は、開発セットで最高のF1スコア0.80を達成し、すべての単一モーダル手法を上回った。
• BoWベースのテキストモデルは、テキスト手法の中で最高の個別性能を示し、開発セットでF1スコア0.77を達成した。
• 画像のみのモデルは、開発セットでF1スコア0.75を達成し、ディープCNN特徴による強力な性能を示した。
• BoWとBERTをラテントファージョンで併用した場合、BoW単体よりもわずかに低いF1スコア（0.70）が得られたため、この文脈ではBERTが性能向上に寄与しなかった。
• テストセットでは、すべての実行で性能が著しく低下し、マルチモーダル実行でもF1スコアはわずか0.093にとどまり、データ分布のずれやテストセットの難易度が原因である可能性がある。
• すべてのチームの平均F1スコアは20％未満であり、テストセットにおける洪水検出タスクの高難易度を示している。