[論文レビュー] Aerial Imagery Pixel-level Segmentation

Michael R. Heffels, Joaquin Vanschoren|TU/e Research Portal|Dec 3, 2020

Advanced Neural Network Applications参考文献 18被引用数 7

ひとこと要約

この論文は、データ拡張、正規化、損失関数の選定を最適化することで、DeepLabv3+ Xception65アーキテクチャを用いて空中画像のピクセル単位のセマンティックセグメンテーションのための最先端の手法を提案している。ドローンデプロイの検証セットでは69.9%のmIOUを達成し、テストセットでは52.5%のmIOUを記録し、従来の研究を大きく上回る新たなベンチマークを確立した。

ABSTRACT

Aerial imagery can be used for important work on a global scale. Nevertheless, the analysis of this data using neural network architectures lags behind the current state-of-the-art on popular datasets such as PASCAL VOC, CityScapes and Camvid. In this paper we bridge the performance-gap between these popular datasets and aerial imagery data. Little work is done on aerial imagery with state-of-the-art neural network architectures in a multi-class setting. Our experiments concerning data augmentation, normalisation, image size and loss functions give insight into a high performance setup for aerial imagery segmentation datasets. Our work, using the state-of-the-art DeepLabv3+ Xception65 architecture, achieves a mean IOU of 70% on the DroneDeploy validation set. With this result, we clearly outperform the current publicly available state-of-the-art validation set mIOU (65%) performance with 5%. Furthermore, to our knowledge, there is no mIOU benchmark for the test set. Hence, we also propose a new benchmark on the DroneDeploy test set using the best performing DeepLabv3+ Xception65 architecture, with a mIOU score of 52.5%.

研究の動機と目的

• 非空中データセットにおける最先端のセマンティックセグメンテーションと空中画像の間の性能ギャップを埋める。
• マルチクラス空中画像セグメンテーションにおけるニューラルネットワークアーキテクチャの最適な設定を特定する。
• ドローンデプロイテストセットのための公開可能な新しいベンチマークを確立する。これは、かつて標準化されたmIOU評価が存在しなかったためである。
• データ拡張、正規化、画像サイズ、損失関数の影響がセグメンテーション性能に与える影響を調査する。
• 将来的な空中画像セマンティックセグメンテーション研究のための再現可能で高性能なベースラインを提供する。

提案手法

• セマンティックセグメンテーションの主なモデルとして、DeepLabv3+ Xception65アーキテクチャを採用する。
• ランダムな水平反転や色合いの変更といったデータ拡張技術を適用し、モデルの頑健性と一般化性能を向上させる。
• バッチ正規化と500×500ピクセルへの画像リサイズを用いて、トレーニングの安定性と解像度を最適化する。
• 標準的な交差エントロピー損失関数とファーコス損失関数を複数評価し、後者がより優れた性能を示した。
• TensorFlowのDeepLabv3+コードベースとドローンデプロイデータセットパイプラインをカスタムトレーニングおよび推論を可能にするよう変更する。
• 比較分析のため、fastaiおよびKeras U-Netベースラインでもカスタムファーコス損失関数を実装した。

実験結果

リサーチクエスチョン

• RQ1 既存のベンチマークと比較して、最先端のニューラルネットワークアーキテクチャをどのように空中画像セグメンテーションに適応させれば、より高い性能が得られるか？
• RQ2 データ拡張、正規化、損失関数戦略の中で、空中画像セグメンテーションタスクのmIOU向上に最も効果的なものは何か？
• RQ3 公開されたベンチマークが存在しなかったことから、ドローンデプロイテストセットにおける現在のモデルの真の性能は何か？
• RQ4 将来的な空中画像セグメンテーション研究のための標準化され、高性能なベースラインを確立できるか？
• RQ5 エンコーダーの種別（例：ResNet50）や入力解像度といったアーキテクチャ的選択が、セグメンテーション精度にどのように影響するか？

主な発見

• DeepLabv3+ Xception65モデルは、ドローンデプロイ検証セットで69.9%のmIOUを達成し、以前のSOTAを5ポイント上回った。
• 提案されたベンチマークにより、ドローンデプロイテストセットで52.5%のmIOUが得られ、これはこのスプリットに対して初めて公に報告されたmIOUスコアである。
• データ拡張、バッチ正規化、ResNet50エンコーダーは、実験全体を通して一貫してモデル性能を向上させた。
• 5%を超えるズーム拡張、500×500ピクセルのタイルサイズ、および代替のファーコス損失は、一貫した改善をもたらさなかった。
• 16ビットの放射能解像度データの使用と適切な正規化は、高ダイナミックレンジな空中画像を処理する上で不可欠である。
• 本研究では、アーキテクチャ的選択とトレーニングプロトコルが性能に顕著な影響を与えることが示された。この設定では、Xception65が他のエンコーダーよりも優れた性能を示した。