[論文レビュー] Social Media Images Classification Models for Real-time Disaster Response.

Firoj Alam, Md Tanvirul Alam+2 more|arXiv (Cornell University)|Apr 9, 2021

Public Relations and Crisis Communication被引用数 7

ひとこと要約

本研究では、被災対応におけるリアルタイムのソーシャルメディア画像分類を目的として、10種類の事前学習済みディープラーニングアーキテクチャを評価する。主な焦点は、危機検出、被害深刻度、人道的分類の3分野の分類である。大規模な公開データセットと、データ拡張やマルチタスク学習といった技術を用いることで、著者らは優れた性能を達成し、スケーラブルでリアルタイムな危機インフォマティクス応用における転移学習の有効性を示した。

ABSTRACT

Images shared on social media help crisis managers in terms of gaining situational awareness and assessing incurred damages, among other response tasks. As the volume and velocity of such content are really high, therefore, real-time image classification became an urgent need in order to take a faster response. Recent advances in computer vision and deep neural networks have enabled the development of models for real-time image classification for a number of tasks, including detecting crisis incidents, filtering irrelevant images, classifying images into specific humanitarian categories, and assessing the severity of the damage. For developing real-time robust models, it is necessary to understand the capability of the publicly available pretrained models for these tasks. In the current state-of-art of crisis informatics, it is under-explored. In this study, we address such limitations. We investigate ten different architectures for four different tasks using the largest publicly available datasets for these tasks. We also explore the data augmentation, semi-supervised techniques, and a multitask setup. In our extensive experiments, we achieve promising results.

研究の動機と目的

• リアルタイム被災画像分類における事前学習モデルの実証的評価が不足しているという問題に取り組む。
• 10種類のディープラーニングアーキテクチャが、4つの異なる被災関連画像分類タスクにおいて果たす性能を評価する。
• データ拡張、半教師あり学習、マルチタスク学習の影響が、モデルの頑健性と精度に与える影響を調査する。
• 被災画像分類のための最大の公開データセットを用いた包括的なベンチマークを提供する。

提案手法

• ImageNetで事前学習された10種類の最先端の深層ニューラルネットワークアーキテクチャ（例：ResNet、DenseNet、EfficientNet）を、下流の被災画像分類タスクに適用する評価。
• データ不足下でのモデルの汎化性能と頑健性を向上させるために、データ拡張技術を適用する。
• 未ラベルのソーシャルメディア画像を活用し、性能を向上させるための半教師あり学習戦略を検討する。
• 複数の被災関連分類目的を同時に最適化するマルチタスク学習の設定を実装する。
• 被害深刻度や人道的分類ラベル付与のためのデータセットも含め、危機画像分類のための最大の公開データセットを用いて訓練および評価する。
• 汎用モデルを被災対応の分野固有のタスクに適応させるために、転移学習を用いる。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みディープラーニングモデルは、被災対応におけるリアルタイムソーシャルメディア画像分類タスクでどの程度の性能を発揮するか？
• RQ2 データ拡張は、リソースが限られた被災画像分類シナリオにおけるモデル性能にどのような影響を与えるか？
• RQ3 ラベル付きデータが限られている状況で、半教師あり学習は分類精度をどの程度向上できるか？
• RQ4 マルチタスク学習は、複数の被災関連画像分類タスクにわたるモデルの汎化性能を向上させるか？

主な発見

• 被災固有のデータセットで微調整された事前学習モデルは、すべての4つの分類タスクで優れた性能を示し、転移学習の有効性を実証した。
• データ拡張は、特にラベル付き学習データが限られた状況で、モデルの頑健性を顕著に向上させた。
• 半教師あり学習技術は、ラベル付きデータが不足する状況でも、測定可能な分類精度の向上をもたらした。
• マルチタスク学習の設定は、モデルの汎化性能を向上させ、単一タスクベースラインと比較して、すべての個別タスクでより良い性能を達成した。
• 評価されたアーキテクチャの中で、EfficientNetおよびDenseNetの変種が、複数のタスクおよびデータ設定において優れた性能を示した。
• 本研究は、リアルタイム被災画像分類の包括的なベンチマークを確立し、最も効果的なモデルと訓練戦略を浮き彫りにした。