[論文レビュー] Nazr-CNN: Object Detection and Fine-Grained Classification in Crowdsourced UAV Images.

Nazia Attari, Ferda Ofli+3 more|arXiv (Cornell University)|Nov 20, 2016

Disaster Management and Resilience被引用数 4

ひとこと要約

Nazr-CNN は、サイクロン後におけるバヌアツの無人航空機（UAV）画像を対象とした、物体検出および細分化された損傷分類のためのディープラーニングパイプラインである。事前学習済みのCNNを用いてピクセル単位の局所化を行い、セグメンテーション領域のフィッシャー・ベクタ表現を用いて微細な損傷レベルを区別する。ラベルのノイズがある小規模なクラウドソーシングデータセットにおいても、頑健な性能を達成している。

ABSTRACT

We propose Nazr-CNN, a deep learning pipeline for object detection and fine-grained classification in images acquired from Unmanned Aerial Vehicles (UAVs). The UAVs were deployed in the Island of Vanuatu to assess damage in the aftermath of cyclone PAM in 2015. The images were labeled by a crowdsourcing effort and the labeling categories consisted of fine-grained levels of damage to built structures. Nazr-CNN consists of two components. The function of the first component is to localize objects (e.g. houses) in an image by carrying out a pixel-level classification. In the second component, a hidden layer of a Convolutional Neural Network (CNN) is used to encode Fisher Vectors (FV) of the segments generated from the first component in order to help discriminate between between different levels of damage. Since our data set is relatively small, a pre-trained network for pixel-level classification and FV encoding was used. Nazr-CNN attains promising results both for object detection and damage assessment suggesting that the integrated pipeline is robust in the face of small data sets and labeling errors by annotators. While the focus of Nazr-CNN is on assessment of UAV images in a post-disaster scenario, our solution is general and can be applied in many diverse settings.

研究の動機と目的

• 限られたラベル付きデータ、ノイズの多いデータ、小規模なラベル付きデータを用いた後災害UAV画像における細分化損傷評価の課題に対処すること。
• 物体検出とマルチレベル損傷分類を統合した包括的なディープラーニングパイプラインの開発。
• 事前学習モデルとフィッシャー・ベクタ表現を活用して、ラベルの不一致がある小規模データセットにおける性能を向上させること。
• 低コストのUAV運用を活用した実世界の災害シナリオにおける、頑健でスケーラブルな損傷評価を実現すること。

提案手法

• UAV画像における建物などのオブジェクトを局所化するために、ピクセル単位の分類に事前学習済みの畳み込みニューラルネットワーク（CNN）を用いる。
• 最初のコンポonentの出力から画像セグメントを抽出し、関心領域に焦点を当てる。
• CNNの隠れ層から得られるフィッシャー・ベクタ（FV）を用いて、これらのセグメントの特徴を符号化し、判別的なパターンを捉える。
• FVベースの表現を用いて、建物における微細な損傷レベルを分類するように学習する。
• データ不足を緩和するために、ピクセル単位の分類とFV符号化の両方に事前学習済みモデルを初期化することで、転移学習を活用する。
• 両コンポーネントを統合し、検出と分類を同時に最適化するエンドツーエンドのパイプラインを構築する。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付きデータを用いた後災害UAV画像において、ディープラーニングパイプラインが物体検出と微細な損傷レベル分類を効果的に行えるか。
• RQ2 CNN特徴のフィッシャー・ベクタ表現が、小規模データセットにおける微細な損傷レベルの区別をどのように向上させるか。
• RQ3 事前学習済みモデルからの転移学習が、ラベルのノイズがある小規模なクラウドソーシングUAV画像データセットにおける性能をどの程度向上させるか。
• RQ4 提案されたパイプラインは、専門外のクラウドソーシング作業者による一貫性のないまたはノイズの多いアノテーションに対しても、頑健性を保てるか。

主な発見

• 小規模なデータセットであるにもかかわらず、Nazr-CNN はUAV画像における物体検出で強力な性能を発揮している。
• CNN特徴とフィッシャー・ベクタ表現の統合により、微細な損傷レベルの分類精度が顕著に向上している。
• ピクセル単位の分類とFV符号化の両方で事前学習モデルを活用することで、小規模データセットにおけるモデルの一般化性能が向上し、過学習が軽減された。
• 非専門家によるクラウドソーシングによるアノテーションの誤りに対しても、パイプラインは頑健であることが示された。
• 全体的なアーキテクチャは、実世界の後災害評価において有効であり、類似した低リソース環境への展開に期待が持てる。