[論文レビュー] Semi-Supervised Classification and Segmentation on High Resolution Aerial Images

Sahil Khose, Abhiraj Tiwari+1 more|arXiv (Cornell University)|May 16, 2021

Advanced Neural Network Applications参考文献 13被引用数 6

ひとこと要約

本論文は、FloodNetデータセットの高解像度空中画像に対して、段階的損失重み付けを用いた偽ラベル化による半教師付き学習アプローチを提案する。398枚のラベル付き画像に加え1,047枚のラベルなし画像を活用することで、一般化性能が向上し、教師ありベースライン比で0.19%のMIoU向上を達成した。限られたアノテーションで優れた性能を示した。

ABSTRACT

FloodNet is a high-resolution image dataset acquired by a small UAV platform, DJI Mavic Pro quadcopters, after Hurricane Harvey. The dataset presents a unique challenge of advancing the damage assessment process for post-disaster scenarios using unlabeled and limited labeled dataset. We propose a solution to address their classification and semantic segmentation challenge. We approach this problem by generating pseudo labels for both classification and segmentation during training and slowly incrementing the amount by which the pseudo label loss affects the final loss. Using this semi-supervised method of training helped us improve our baseline supervised loss by a huge margin for classification, allowing the model to generalize and perform better on the validation and test splits of the dataset. In this paper, we compare and contrast the various methods and models for image classification and semantic segmentation on the FloodNet dataset.

研究の動機と目的

• 被災後空中画像解析におけるラベル付きデータの不足と重度のクラス不均衡の課題に対処すること。
• 半教師付き学習を用いて高解像度空中画像における分類およびセマンティックセグメンテーション性能を向上させること。
• FloodNetデータセットに豊富に存在するラベルなしデータを活用し、教師ありベースラインを上回るモデル一般化性能を向上させること。
• 段階的偽ラベル化および損失重み付け戦略を用いてモデル性能を最適化すること。
• 半教師付き学習下での最先端アーキテクチャ（ResNet、EfficientNet、UNet、PSPNet、DeepLabV3+）の評価を行うこと。

提案手法

• 訓練中に予測確信度が最も高いモデル出力を用いて、ラベルなし画像の偽ラベルを生成する。
• 訓練エポックに伴い、初期値α_iから最終値α_fへと段階的に偽ラベル損失の影響を増大させる。
• 境界精度を向上させるために、バイナリクロスエントロピー（BCE）とDice損失の重み付き組み合わせをセグメンテーションに適用する。
• ローカルクロップ、フリップ、回転、スケーリング、明るさコントラスト変更などのデータオーグメンテーションを適用して耐性を向上させる。
• 分類用に300×400、セグメンテーション用に512×512に画像をダウンスケーリングし、計算効率と特徴保持のバランスを取る。
• 初期段階ではAdam最適化手法を用い、偽ラベル導入後に学習率0.01のSGDに切り替える。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付きデータで、段階的損失重み付けを用いた偽ラベル化が、高解像度空中画像における半教師付き分類性能を顕著に向上させるか？
• RQ2 偽ラベル化によるラベルなしデータの統合は、FloodNetデータセットにおけるセマンティックセグメンテーション性能にどのように影響するか？
• RQ3 空中画像セグメンテーションにおいて、半教師付き学習下でUNet、PSPNet、DeepLabV3+のうちどのディープラーニングアーキテクチャが最も優れた性能を示すか？
• RQ4 データオーグメンテーションおよびクラスバランスサンプリングは、被災後画像解析における重度のクラス不均衡の影響をどの程度軽減できるか？
• RQ5 EfficientNet-B3のようなより効率的なバックボーンを用いることで、半教師付きセマンティックセグメンテーションタスクの性能が向上するか？

主な発見

• 半教師付きアプローチは、分類タスクにおいて教師ありベースラインを顕著に上回り、検証およびテストスプリットにおける一般化性能が向上した。
• 最高性能を示したセグメンテーションモデルは、EfficientNet-B3バックボーンを搭載したDeepLabV3+であり、偽ラベルデータを用いることでMean Intersection over Union（MIoU）が0.19%向上した。
• 車両やプールなどの小さな物体は、すべてのモデルにとって最も挑戦的であり、細粒度セグメンテーションにおける限界を示した。
• BCEとDice損失を等重みで組み合わせた場合が、最も優れたセグメンテーション結果をもたらし、視覚的にクリアな予測を生成した。
• 段階的損失重み付けを伴う偽ラベルの使用により、大規模なラベルなしデータの処理において一貫した性能向上が得られた。
• 計算制約が存在する中でも、ラベルなしデータを1:10の比率でランダムサンプリングした場合でも測定可能な向上が得られたことから、フルスケールでの活用可能性が示唆された。