[論文レビュー] Water level prediction from social media images with a multi-task ranking approach

Priyanka Chaudhary, Stefano D’Aronco+3 more|arXiv (Cornell University)|Jul 14, 2020

Flood Risk Assessment and Management参考文献 38被引用数 4

ひとこと要約

本稿では、回帰とペairワイズ順序付け損失を組み合わせることで、コストの高いピクセル単位のアノテーションの必要を著しく削減する、マルチタスク深層学習手法を提案する。画像ペア間の相対的水位順序（どちらの画像の水位が高いか）という容易に入手可能な情報を利用することで、8,145枚の画像から構成される新しいデータセット上で、約11 cmのルート・マンス・スクエア・エラーを達成し、最小限のラベル作成作業でほぼリアルタイムの洪水マッピングを実現する。

ABSTRACT

Floods are among the most frequent and catastrophic natural disasters and affect millions of people worldwide. It is important to create accurate flood maps to plan (offline) and conduct (real-time) flood mitigation and flood rescue operations. Arguably, images collected from social media can provide useful information for that task, which would otherwise be unavailable. We introduce a computer vision system that estimates water depth from social media images taken during flooding events, in order to build flood maps in (near) real-time. We propose a multi-task (deep) learning approach, where a model is trained using both a regression and a pairwise ranking loss. Our approach is motivated by the observation that a main bottleneck for image-based flood level estimation is training data: it is diffcult and requires a lot of effort to annotate uncontrolled images with the correct water depth. We demonstrate how to effciently learn a predictor from a small set of annotated water levels and a larger set of weaker annotations that only indicate in which of two images the water level is higher, and are much easier to obtain. Moreover, we provide a new dataset, named DeepFlood, with 8145 annotated ground-level images, and show that the proposed multi-task approach can predict the water level from a single, crowd-sourced image with ~11 cm root mean square error.

研究の動機と目的

• 深層学習の活用を阻害する、洪水画像における水位推定のためのアノテート済み学習データの不足に対処する。
• ピクセル単位のインスタンスセグメンテーションアノテーションのような高コストなアノテーションに依存しないように、より弱くスケーラブルな教師信号を用いる。
• コールドソースのソーシャルメディア画像を活用することで、最小限の人的ラベリング作業でほぼリアルタイムの洪水マッピングを実現する。
• 絶対的深度回帰よりも、画像ペア間の順序付け（どちらの画像の水位が高いか）という相対的順序が、より効率的かつスケーラブルな教師信号であることを示す。
• 画像ベースの洪水水位推定分野の研究を支援するための新しいベンチマークデータセット、DeepFloodを構築する。

提案手法

• 回帰（絶対的水深）とペアワイズ順序付け（2枚の画像のうちどちらの水位が高いか）の両方を同時に最適化するマルチタスク学習フレームワークを用いて深層ニューラルネットワークを訓練する。
• 画像ペアを処理し、相対的水位順序を予測するためのシアンズ型アーキテクチャを採用し、正しい順序付けを強制するためのコントラスト型損失関数を用いる。
• 回帰損失（MSE）と順序付け損失（コントラスト型損失）を統合した1つの目的関数を用いて、モデルを同時に学習する。
• 絶対的水深値が付与された少数の強いラベル付き画像に加え、相対的水位順序のみが分かっている多数の弱いラベル付き画像ペアを活用する。
• データオーグメンテーションとトランスファー学習の技術を用いて、特にレアまたは複雑な洪水シナリオにおいても一般化性能を向上させる。
• 複数のフォールドにわたるクロスバリデーション戦略を実装し、モデル性能の堅牢な評価を保証する。

実験結果

リサーチクエスチョン

• RQ1 画像ペア間の順序付け（どちらの画像の水位が高いか）を、ソーシャルメディア画像からの水位回帰のための有効な弱い教師信号として用いることができるか？
• RQ2 完全教師あり回帰と比較して、順序付け教師信号を組み込むことで、性能とラベリング効率の両面でどのように向上するか？
• RQ3 絶対的アノテーションを最小限に抑え、相対的アノテーションを多数用いることで、未知の洪水シナリオにどれほど一般化できるか？
• RQ4 順序付け教師信号として使用する画像ペアの数を変化させた場合、モデル性能にどのような影響を与えるか？
• RQ5 インスタンスセグメンテーションベースのアプローチと比較して、著しく低いアノテーションコストで競争力のある精度を達成できるか？

主な発見

• 提案されたマルチタスクモデル（Reg+Rank）は、テストセットで11.3 cmのルート・マンス・スクエア・エラーを達成し、回帰のみのベースラインと先行研究の分類ベース手法を上回った。
• 順序付け教師信号に100万枚の画像ペアを使用するだけで、回帰のみのベースラインと比較して誤差を大幅に低減した。これは弱い教師信号の有効性を示している。
• モデルは多様な洪水シナリオに良好に一般化しており、ボートにいる人や極端な水位変化といった挑戦的ケースでも、先行手法を上回る性能を示した。
• アブレーションスタディの結果、画像ペアの数を増やしても性能向上がゆっくりとしか得られず、100万枚のペアですでに強い正則化効果が得られていることが示された。また、ペアの冗長性がさらなる向上を制限していることも明らかになった。
• ラベリング作業の負担が著しく軽減された：ピクセル単位のセグメンテーションよりも、画像ペア間の相対的水位順序のラベリングははるかに速く簡単であり、クラウドソーシングによるスケーラブルなデータ収集が可能になった。
• 8,145枚の正解アノテーション付き画像から構成される新しいDeepFloodデータセットは、今後の画像ベースの洪水水位推定分野の研究にとって貴重なベンチマークを提供する。