[論文レビュー] A Local-Global Approach to Semantic Segmentation in Aerial Images

Alina Marcu|arXiv (Cornell University)|Jul 19, 2016

Advanced Image and Video Retrieval Techniques参考文献 3被引用数 4

ひとこと要約

本論文は、空中画像におけるセマンティックセグメンテーションのための、局所的およびグローバルな視覚的文脈を組み合わせるデュアルストリーム深層畳み込みニューラルネットワークを提案する。局所的特徴には細い深さのストリームを、グローバルな文脈には浅く広いストリームを用いる。このモデルはマサチューセッツ・ビルディングスデータセットにおいて最先端の性能を達成し、F-measureを92.3%から94.2%まで向上させた。これは、補完的な局所的およびグローバルな推論を効果的に活用した結果である。

ABSTRACT

Aerial images are often taken under poor lighting conditions and contain low resolution objects, many times occluded by other objects. In this domain, visual context could be of great help, but there are still very few papers that consider context in aerial image understanding and still remains an open problem in computer vision. We propose a dual-stream deep neural network that processes information along two independent pathways. Our model learns to combine local and global appearance in a complementary way, such that together form a powerful classifier. We test our dual-stream network on the task of buildings segmentation in aerial images and obtain state-of-the-art results on the Massachusetts Buildings Dataset. We study the relative importance of local appearance versus the larger scene, as well as their performance in combination on three new buildings datasets. We clearly demonstrate the effectiveness of visual context in conjunction with deep neural networks for aerial image understanding.

研究の動機と目的

• 物体が頻繁に隠蔽されたり、低解像度であるか、悪化した照明条件下にある空中画像におけるセマンティックセグメンテーションの課題に対処すること。
• 特にグローバルなシーン理解が空中画像認識にどのように寄与するかを調査すること。
• 局所的およびグローバル特徴を効果的に統合することで、より優れたセグメンテーション性能を達成する深層学習モデルの開発。
• 実世界の空中データセットにおいて、局所的・グローバル的補完性がどのように機能するかを実証すること。
• 建物にとどまらず、道路、森林、草地、水路などの他のクラスへのセグメンテーションの拡張。

提案手法

• デュアルストリームCNNの設計：局所的特徴を捉えるために、小さなフィルタを用いた深く細いアーキテクチャのストリームと、大きなフィルタを用いた浅く広いアーキテクチャのストリームを別々に構築。
• 空中画像のパッチ上で両ストリームを独立して学習し、最終層で特徴を統合して共同分類を実行。
• 2つのストリームからの予測の統合を最適化するために、トリプレットしきい値アルゴリズムを用いる。
• ピクセル単位の交差エントロピー損失関数を用いて、建物、道路、その他のクラスのカスタムデータセット上で、エンドツーエンドでモデルを学習。
• 出力層を拡張することで、複数のオブジェクトカテゴリを予測する多クラスセマンティックセグメンテーションに適用。
• データオーグメンテーションおよびパッチベースの学習を用いて、多様な空中シーンにおける一般化性能を向上。

実験結果

リサーチクエスチョン

• RQ1 局所的およびグローバルな視覚的文脈を組み合わせることで、空中画像におけるセマンティックセグメンテーションの精度がどのように向上するか？
• RQ2 建物や道路のようなオブジェクトを認識する際、局所的外観とグローバルなシーン文脈の相対的な寄与度はどの程度か？
• RQ3 局所的およびグローバルパスウェイに異なるアーキテクチャを有するデュアルストリームCNNアーキテクチャは、シングルストリームモデルを上回る性能を発揮できるか？
• RQ4 画像品質、オブジェクト密度、隠蔽度にばらつきのある多様な空中データセットにおいて、モデルの性能はどの程度か？
• RQ5 局所的・グローバル的補完性は、森林、水、草地などの他のセマンティッククラスに対しても一般化可能か？

主な発見

• 提案されたデュアルストリームモデルは、マサチューセッツ・ビルディングスデータセットで94.2%という最先端のF-measureを達成し、前回の最高値92.3%を大きく上回った。
• グローバルな文脈が、特に高密度な都市部において、小規模で隠蔽されたりコントラストが低い建物の検出を顕著に向上させた。
• ルーマニア道路データセットでは、悪化した照明や低解像度条件でも高いF-measureスコアを達成し、モデルの頑健性を裏付けた。
• アブレーションスタディの結果、局所的およびグローバル特徴を統合した場合が、それぞれのストリーム単体よりも優れた性能を示し、2つのパスウェイの補完性を確認した。
• モデルは多クラスセグメンテーションへも効果的に拡張され、森林、水、草地においても優れた結果を達成した。これは、広範な適用可能性を示している。
• 著者らは、空中画像理解分野におけるさらなるベンチマークのための2つの新規データセット（ルーマニア道路データセットおよびサトゥ・マーレ住宅数え上げデータセット）を提供した。