[論文レビュー] Automatic Pixelwise Object Labeling for Aerial Imagery Using Stacked U-Nets

Andrew Khalel, Motaz El-Saban|arXiv (Cornell University)|Mar 13, 2018

Advanced Neural Network Applications被引用数 25

ひとこと要約

本稿では、複数のU-Netモデルを直列に接続して予測を段階的に改善するスタックドU-Netアーキテクチャを提案し、航空画像の画素単位のセマンティックセグメンテーションを自動化する。この手法は、InriaおよびMassachusetts Buildingsデータセットの両方で最先端の性能を達成しており、最小限の精度損失でサブサンプリングを用いることで顕著な推論速度の高速化を実現している。

ABSTRACT

Automation of objects labeling in aerial imagery is a computer vision task with numerous practical applications. Fields like energy exploration require an automated method to process a continuous stream of imagery on a daily basis. In this paper we propose a pipeline to tackle this problem using a stack of convolutional neural networks (U-Net architecture) arranged end-to-end. Each network works as post-processor to the previous one. Our model outperforms current state-of-the-art on two different datasets: Inria Aerial Image Labeling dataset and Massachusetts Buildings dataset each with different characteristics such as spatial resolution, object shapes and scales. Moreover, we experimentally validate computation time savings by processing sub-sampled images and later upsampling pixelwise labeling. These savings come at a negligible degradation in segmentation quality. Though the conducted experiments in this paper cover only aerial imagery, the technique presented is general and can handle other types of images.

研究の動機と目的

• エネルギー産業や鉱業分野など、航空画像の画素単位の手動ラベリングにかかる高コストと長時間の課題を解決すること。
• 高解像度航空画像における建物の正確なセマンティックセグメンテーションを実現する自動化されたディーブラーニングベースの手法を開発すること。
• 入力解像度の低減によって、計算効率とセグメンテーション精度のトレードオフを調査すること。
• 予測を段階的に改善するカスケード型U-Netアーキテクチャにより、セグメンテーション品質を向上させること。
• CRFなどの後処理技術の有効性を評価し、建物セグメンテーションに必要なポリゴンマスクの生成に必要かどうかを検討すること。

提案手法

• 2つのU-Netアーキテクチャをスタックし、最初のU-Netの出力を2番目のU-Netの入力として使用することで、段階的なマスクの改善が可能になる。
• 一般化性とロバスト性を向上させるために、トレーニング中にランダムな回転と反転を含むデータ拡張が適用された。
• 二値セグメンテーションのためのシグモイド活性化関数を用いた交差エントロピー損失により、エンドツーエンドでモデルが訓練された。
• 入力解像度を元の0.3 mの1/2および1/4に低減し、計算効率を評価した。予測は線形補間を用いてアップサンプリングされ、評価に使用された。
• エッジの詳細を向上させるために、後処理ステップとして条件付きランダムフィールド（CRF）がテストされたが、出力形式との不一致のため最終パイプラインでは使用されなかった。
• 推論は5000×5000ピクセルのタイル単位で実施され、結果が統合され、しきい値処理を経て最終的なセグメンテーションマスクが生成された。

実験結果

リサーチクエスチョン

• RQ1 スタックドU-Netアーキテクチャは、多様な航空画像データセットにおいて、単一のU-Netや最先端のモデルを上回る性能を発揮できるか？
• RQ2 入力画像解像度を低減すると、セグメンテーション精度と推論速度にどのような影響を与えるか？
• RQ3 ポリゴンマスクが必要な建物セグメンテーションタスクにおいて、CRFによる後処理は有益か？
• RQ4 精度の著しい低下を伴わず、サブサンプリングされた画像を用いることで計算時間を大幅に短縮できるか？
• RQ5 空間解像度やオブジェクト特性が異なるデータセット間で、モデルの汎用性はどの程度達成できるか？

主な発見

• スタックドU-Netモデルは、Inria Aerial Image Labelingデータセットで平均IoU 83.7%を達成し、現在の最先端手法を上回った。
• Massachusetts Buildingsデータセットでは、IoU 85.2%を達成し、既存のアプローチを上回った。
• 入力画像を元の解像度の1/4に低減することで、タイル1つあたりの推論時間が約160秒から約17秒に短縮されたが、IoUはわずか0.52%低下した。
• データ拡張の導入により、単一のU-NetのIoUは73.68%から74.38%に向上し、ロバスト性の向上に寄与することが示された。
• CRF後処理はバリデーションセットでIoUを72.58%に低下させたため、使用を中止した。これは、建物ポリゴン検出に不要な細かいエッジを導入する要因となった。
• サブサンプリングされた画像を処理することで、推論時間に4.5倍の高速化が達成され、セグメンテーション品質への影響は最小限に抑えられた。このため、リアルタイムまたは大規模な展開に適している。