[論文レビュー] UAVid: A Semantic Segmentation Dataset for UAV Imagery

Ye Lyu, George Vosselman+3 more|arXiv (Cornell University)|Oct 24, 2018

Advanced Neural Network Applications参考文献 42被引用数 9

ひとこと要約

本稿では、斜めの無人航空機（UAV）の視点から撮影された30本の動画シーケンスからなる高解像度の意味的セグメンテーションデータセット、UAVidを紹介する。8クラスに分類され、4K解像度の画像が300枚にわたり密にアノテートされている。提案されたマルチスケール拡張ネットワーク（Multi-Scale-Dilation net）は、平均IoUが約50%に達し、ベースラインを1.6%以上上回る性能を示した。さらに、FSOと3次元CRFを用いた空間時間的正則化により、追加で約0.5%の向上が得られた。

ABSTRACT

Semantic segmentation has been one of the leading research interests in computer vision recently. It serves as a perception foundation for many fields, such as robotics and autonomous driving. The fast development of semantic segmentation attributes enormously to the large scale datasets, especially for the deep learning related methods. There already exist several semantic segmentation datasets for comparison among semantic segmentation methods in complex urban scenes, such as the Cityscapes and CamVid datasets, where the side views of the objects are captured with a camera mounted on the driving car. There also exist semantic labeling datasets for the airborne images and the satellite images, where the top views of the objects are captured. However, only a few datasets capture urban scenes from an oblique Unmanned Aerial Vehicle (UAV) perspective, where both of the top view and the side view of the objects can be observed, providing more information for object recognition. In this paper, we introduce our UAVid dataset, a new high-resolution UAV semantic segmentation dataset as a complement, which brings new challenges, including large scale variation, moving object recognition and temporal consistency preservation. Our UAV dataset consists of 30 video sequences capturing 4K high-resolution images in slanted views. In total, 300 images have been densely labeled with 8 classes for the semantic labeling task. We have provided several deep learning baseline methods with pre-training, among which the proposed Multi-Scale-Dilation net performs the best via multi-scale feature extraction. Our UAVid website and the labeling tool have been published https://uavid.nl/.

研究の動機と目的

• 都市部の斜めUAV画像における大規模かつ高解像度の意味的セグメンテーションデータセットの不足に応える。
• 上部と側面の両方の視点を捉えるベンチマークデータセットを提供し、都市部の物体認識とシーン理解を向上させる。
• スケールの変動、移動物体、時間的整合性といった課題を導入することで、UAV画像の意味的セグメンテーション手法を前進させる。
• UAVベースの意味的セグメンテーションにおけるディープラーニングモデルと空間時間的正則化技術を評価する。
• UAVidのウェブサイトを通じてデータセット、ラベリングツール、ベースラインモデルを公開し、今後の研究を促進する。

提案手法

• 斜めの視点から撮影された4K高解像度のUAV画像の30本の動画シーケンスを収集し、多様な物体サイズと動的な要素を有する都市部のストリートシーンを捉える。
• 密なピクセルレベルのアノテーションのための8つの意味的クラスを定義：建物、道路、歩道、フェンス、植生、車両、人物、移動中の車両。
• 転移学習と事前学習を用いて、複数のディープラーニングアーキテクチャ（例：FCN-8s、U-Net、Dilation Net、MS-Dilation net）を訓練・評価する。
• 複数の受容 field をカバーする特徴抽出を向上させるために、マルチスケール拡張ネットワーク（Multi-Scale-Dilation net）を提案する。これにより、スケール変動に対するロバスト性が向上する。
• 時間的整合性を向上させるために、特徴空間最適化（FSO）と3次元条件付きランダムフィールド（3D CRF）を用いた空間時間的正則化を適用する。
• 効率性を高めるために8倍にダウンサンプリングされた光学フロー推定と軌道計算を用い、連続するフレームにおけるFSOおよび3D CRFの最適化を支援する。

実験結果

リサーチクエスチョン

• RQ1 本稿で提案するUAVidデータセットは、画像の視点、解像度、シーンの複雑さの観点から、既存の意味的セグメンテーションデータセットと比較してどのように異なるか？
• RQ2 斜めの視点と高解像度入力を有するUAV画像において、最先端のディープラーニングモデルの性能はどの程度か？
• RQ3 マルチスケール特徴抽出は、UAVidにおける意味的セグメンテーション精度をどの程度向上させるか？
• RQ4 FSOと3次元CRFによる空間時間的正則化は、時間的整合性とIoUスコアの向上にどの程度有効か？
• RQ5 現在のモデルは、歩行者や移動中の車両のような小形または動的な物体をUAV動画シーケンスでどのように処理しているか、その限界は何か？

主な発見

• 提案されたマルチスケール拡張ネットワーク（Multi-Scale-Dilation net）は、平均交差率（IoU）が約50%に達し、他のベースラインモデルを1.6%以上上回る性能を示した。
• FSOと3次元CRFを用いた空間時間的正則化により、全モデルで平均IoUがさらに0.5%向上した。特に大きな物体クラスでは、より顕著な向上が見られた。
• 人間と移動中の車両クラスでは、FSOの後処理後に性能が著しく低下した（人間クラスでは約4%低下）。これは、小形または動的な物体をモデル化する際の課題を示している。
• FSOの後処理ステップは、ほとんどのクラスでIoUを向上させた。静的車両および移動中の車両を除き、各クラスで約1%の向上が見られた。
• 定性的な結果から、空間時間的正則化により、特に複雑な物体の境界において、フレーム間で一貫性があり滑らかな予測が得られることを示した。
• UAVidデータセットは、専用のウェブサイトとラベリングツールを備えて公開されており、今後のUAVベースの意味的セグメンテーション研究における再現性とベンチマークの実現を可能にしている。