[論文レビュー] A Comparison of Super-Resolution and Nearest Neighbors Interpolation Applied to Object Detection on Satellite Data

Evan Koester, Cem Şahin|arXiv (Cornell University)|Jul 8, 2019

Advanced Image Processing Techniques参考文献 27被引用数 10

ひとこと要約

本稿では、小型の物体が多数存在する大規模なシーンにおける物体検出性能を向上させるために、衛星画像のためのマルチステージタイリングおよびスケーリングパイプラインを提案する。xViewデータセットを用い、YOLOv2を用いて4倍スケーリング要因での超解像（MDSR）と最近傍補間（NN）を比較した結果、MDSRがより視覚的にリアルな画像を生成する一方で、NNはMDSRとほぼ同一の検出性能（AP = 0.6835）を達成しており、差はたった0.02%にとどまることが判明した。

ABSTRACT

As Super-Resolution (SR) has matured as a research topic, it has been applied to additional topics beyond image reconstruction. In particular, combining classification or object detection tasks with a super-resolution preprocessing stage has yielded improvements in accuracy especially with objects that are small relative to the scene. While SR has shown promise, a study comparing SR and naive upscaling methods such as Nearest Neighbors (NN) interpolation when applied as a preprocessing step for object detection has not been performed. We apply the topic to satellite data and compare the Multi-scale Deep Super-Resolution (MDSR) system to NN on the xView challenge dataset. To do so, we propose a pipeline for processing satellite data that combines multi-stage image tiling and upscaling, the YOLOv2 object detection architecture, and label stitching. We compare the effects of training models using an upscaling factor of 4, upscaling images from 30cm Ground Sample Distance (GSD) to an effective GSD of 7.5cm. Upscaling by this factor significantly improves detection results, increasing Average Precision (AP) of a generalized vehicle class by 23 percent. We demonstrate that while SR produces upscaled images that are more visually pleasing than their NN counterparts, object detection networks see little difference in accuracy with images upsampled using NN obtaining nearly identical results to the MDSRx4 enhanced images with a difference of 0.0002 AP between the two methods.

研究の動機と目的

• 超解像（SR）前処理が、ナチュラルな補間手法と比較して衛星画像における物体検出精度を向上させるかどうかを評価すること。
• 低GSD（Ground Sample Distance）の大きな衛星画像における小型物体（例：車両）の検出という課題に取り組むこと。
• 高解像度衛星データの効率的処理を可能にする、新規のマルチステージタイリングおよびスケーリングパイプラインの開発と検証すること。
• 超解像の計算コストが、最近傍補間のような単純な手法に比べて検出性能に顕著な向上をもたらすかどうかを検証すること。
• YOLOv2が航空画像における小型物体の密集クラスタを検出する際の限界を、向上した前処理によって克服すること。

提案手法

• 2段階のタイリングパイプラインを提案：まず元の衛星画像をタイルに分割し、次に各タイルをMDSRまたはNN補間を用いて4倍にスケーリングする。
• マルチスケールディープスーパーリソリューション（MDSR）ネットワークを用い、30cm GSDの入力から7.5cmの有効GSDに高解像度画像を生成する。
• NN補間をベースラインとして用い、MDSRとの直接比較が可能なように4倍スケーリングを適用する。
• アップサンプルされたタイル上でYOLOv2の物体検出モデルを訓練および評価し、バウンディングボックスの境界を保全するためのラベルスターチングを適用する。
• 非最大抑制（NMS）において、標準的なIOUの代わりに交差比（IOA）を採用し、重複や密集した車両の処理を改善する。
• xViewデータセットを用いてパイプラインの妥当性を検証した。このデータセットには、30cm GSDの実世界の衛星画像と、アノテーション付きの車両が含まれる。

実験結果

リサーチクエスチョン

• RQ1 最近傍補間と比較して、超解像前処理が衛星画像における小型物体の検出精度を顕著に向上させるか？
• RQ2 MDSRまたはNNによる4倍スケーリングが、大規模な衛星画像における車両検出の平均適合率（AP）に与える影響は？
• RQ3 提案されたマルチステージタイリングおよびスケーリングパイプラインは、1段階のタイリングと比較して、検出性能にどの程度差を生じるか？
• RQ4 SRによる視覚的品質向上が、ディープラーニングベースの物体検出において、実際に検出可能となる性能向上にどの程度寄与するか？
• RQ5 衛星ベースの物体検出タスクに応用する際、SRの計算コストは、検出精度の測定可能な向上によって正当化されるか？

主な発見

• MDSRまたはNN補間による4倍スケーリングにより、ネイティブGSDでの1段階タイリングと比較して、車両検出の平均適合率（AP）が22.8%向上した（0.4548 → 0.6833–0.6835）。
• MDSRx4とNNx4のAPスコアはほぼ同一であり、それぞれ0.6833および0.6835で、差はたった0.0002 APにとどまる。
• MDSRx4とNNx4の精度-再現率曲線はほとんど区別がつかず、特徴抽出や検出能力に有意な差がないことが示された。
• よりフォトリアルな画像を生成するにもかかわらず、MDSRはNNに比べて物体検出性能で顕著な優位性を示さなかった。
• スケーリングによる性能向上の主な要因は、SR特有の強化ではなく、ImageNetで事前学習された特徴と物体サイズの一致の改善に起因する。
• 提案された2段階のタイリングおよびスケーリングパイプラインは、YOLOv2が衛星画像における小型物体の密集クラスタを検出する際の限界を効果的に緩和した。