[論文レビュー] Multi-class segmentation under severe class imbalance: A case study in roof damage assessment

Jean-Baptiste Boin, Nat Roth+3 more|arXiv (Cornell University)|Oct 14, 2020

Infrastructure Maintenance and Monitoring参考文献 12被引用数 8

ひとこと要約

本稿では、上空画像からの屋根損傷評価における極端なクラス不均衡下で、多クラスセマンティックセグメンテーションを向上させるための4つの技術を提案する。新しいオーバーサンプリング戦略とアーキテクチャの改善（補助ヘッド、クラス固有ヘッド、シグモイド活性化）を組み合わせることで、マイノリティクラス（例：軽微、深刻、崩壊）のF1スコアのマクロ平均が39.9ポイント向上し、ベースラインを著しく上回った。

ABSTRACT

The task of roof damage classification and segmentation from overhead imagery presents unique challenges. In this work we choose to address the challenge posed due to strong class imbalance. We propose four distinct techniques that aim at mitigating this problem. Through a new scheme that feeds the data to the network by oversampling the minority classes, and three other network architectural improvements, we manage to boost the macro-averaged F1-score of a model by 39.9 percentage points, thus achieving improved segmentation performance, especially on the minority classes.

研究の動機と目的

• 上空画像からの屋根損傷の多クラスセマンティックセグメンテーションにおける深刻なクラス不均衡の課題に対処すること。
• 災害後データセットに過小に表現されるレアな損傷クラス（例：軽微、深刻、崩壊）のモデル性能を向上させること。
• データ不足下での堅牢な性能を実現するため、サンプリング戦略とネットワークアーキテクチャの変更を評価・統合すること。
• これらの手法が、特にマイノリティクラスにおいて、現実の災害対応シナリオで顕著にセグメンテーション性能を向上させることを示すこと。

提案手法

• すべてのフォアグラウンド損傷クラスから少なくとも1つの正例を含むように保証する制約付きの新しいデータサンプリング方式を提案し、背景のみの解に収束するのを防ぐ。
• 各損傷クラスごとに別々の損失ヘッドを持つ補助ヘッドを導入し、希少クラスの特徴学習を改善する。
• 共有ヘッドの代わりに、クラス固有の個別ヘッドと個別のシグモイド活性化を採用し、各クラスごとに独立して最適化可能にする。
• 標準的なソフトマックス出力の代わりに、各クラスごとにシグモイド活性化を適用し、各クラスにデイク損失を適用することで、不均衡データにおける学習安定性を向上させる。
• 9層のダウンサンプリングを持つ変更版U-Netバックボーンを採用し、各解像度で3つの畳み込み層、バッチノーマライゼーション、ReLU活性化を適用し、最終予測用に別個のU-Netヘッドを設ける。
• 各クラス（背景を除く）に対してデイク損失を用いてモデルを学習し、バリデーション損失を最小化する重みを選択し、性能をマイクロ平均およびマクロ平均F1スコアで評価する。

実験結果

リサーチクエスチョン

• RQ1 すべての損傷クラスにわたるバッチの多様性を保証する制約付きサンプリング戦略は、不均衡な屋根損傷セグメンテーションにおけるモデル性能にどのように影響するか？
• RQ2 補助ヘッドやクラス固有ヘッドといったアーキテクチャの変更は、希少損傷クラスのセグメンテーションにどの程度向上効果をもたらすか？
• RQ3 共有分類ヘッドをクラス固有のシグモイドヘッドに置き換えることで、不均衡状態下の多クラスセグメンテーションにおけるマイノリティクラスの性能は向上するか？
• RQ4 異なる損失関数と活性化関数（例：デイク損失＋シグモイド vs. 交差エントロピー＋ソフトマックス）は、不均衡状態下でのモデルの収束と性能にどのように影響するか？
• RQ5 複数の手法（サンプリング、アーキテクチャ変更、損失設計）を組み合わせることで、特にマイノリティクラスにおいて相乗効果が得られるか？

主な発見

• 提案されたオーバーサンプリング方式のみで、マクロ平均F1スコアがベースライン比で35.9ポイント向上し、その支配的影響が示された。
• 4つの技術をすべて組み合わせた完全なモデルでは、マクロ平均F1スコアが39.9ポイント向上し、各手法間の強い相乗効果が確認された。
• ベースラインモデルでは、すべてのマイノリティクラス（軽微損傷、深刻損傷、崩壊）のF1スコアがゼロであったため、クラス不均衡の深刻さが顕著に示された。
• 最終モデルの混同行列から、誤分類の主な要因は、災害後画像で構造が完全に消失したために生じる破壊クラスの偽陰性であった。
• アブレーションスタディにより、4つの技術すべてが性能向上に寄与しており、特にサンプリング手法が最も顕著な個別効果を示した。
• 最終モデルはクラス間の混同を顕著に低減し、特に従来誤分類されがちだったマイノリティクラスにおいて、正規化された混同行列の対角優位性が向上した。