[論文レビュー] You Only Look Twice: Rapid Multi-Scale Object Detection In Satellite Imagery

Adam Van Etten|arXiv (Cornell University)|May 24, 2018

Advanced Neural Network Applications参考文献 4被引用数 207

ひとこと要約

YOLT は高速度・多尺度・全結合検出器を非常に大きなオーバーヘッド画像に適用し、巨大な衛星シーン全体で車・飛行機・ボート・建物・空港などの小さな物体をほぼリアルタイムで局在化できるようにします。

ABSTRACT

Detection of small objects in large swaths of imagery is one of the primary problems in satellite imagery analytics. While object detection in ground-based imagery has benefited from research into new deep learning approaches, transitioning such technology to overhead imagery is nontrivial. Among the challenges is the sheer number of pixels and geographic extent per image: a single DigitalGlobe satellite image encompasses >64 km2 and over 250 million pixels. Another challenge is that objects of interest are minuscule (often only ~10 pixels in extent), which complicates traditional computer vision techniques. To address these issues, we propose a pipeline (You Only Look Twice, or YOLT) that evaluates satellite images of arbitrary size at a rate of >0.5 km2/s. The proposed approach can rapidly detect objects of vastly different scales with relatively little training data over multiple sensors. We evaluate large test images at native resolution, and yield scores of F1 > 0.8 for vehicle localization. We further explore resolution and object size requirements by systematically testing the pipeline at decreasing resolution, and conclude that objects only ~5 pixels in size can still be localized with high confidence. Code is available at https://github.com/CosmiQ/yolt.

研究の動機と目的

• 巨大な衛星画像で非常に小さな物体を検出する課題に対処する。
• 高密度・任意回転のオーバーヘッド物体に適した高速な密集グリッド CNN アーキテクチャを開発する。
• 大きな画像を扱いやすいチップに分割し、結果を stitching して native 解像度で処理を可能にする。
• データ拡張と多スケール分類器でスケールと回転のばらつきを緩和する。
• センサー間の移植性を実証し、検出性能の解像度依存性を分析する。

提案手法

• YOLO に着想を得たフレームワークを、16 にダウンサンプルし 416x416 入力に対して 26x26 の予測グリッドを出力する 22 層の密集ネットワークで拡張する。
• 高解像度特徴マップを結合して小さな物体の位置推定を refined するパススルー層を導入する。
• 大きな画像を重複するカットアウトに分割し、それぞれを検出器で評価し、結果をグローバルマップに stitching する。
• グローバルな予測集合に対して非極値抑制を適用し、重複検出を除去する。
• 小さな物体と大規模インフラ（例：車両/建物 vs 空港）との混乱を減らすため、異なるスケールでデュアル分類器を使用する。
• グリッドあたり 5 ボックス、学習率 1e-3、ウェイトデケイ 0.0005、モメンタム 0.9 で確率的勾配降下法を用いて訓練する。

実験結果

リサーチクエスチョン

• RQ1 YOLO に似た検出器を、非常に小さく密集したオーバーヘッド画像に対して効果的に適用できるか。
• RQ2 デュアル分類器を用いた多スケールアプローチは、空港と車両/建物などの物体検出の精度を向上させ、偽陽性を減らすか。
• RQ3 衛星画像における ground sample distance（解像度）と物体サイズで検出性能はどう変化するか。
• RQ4 センサー間（例：DigitalGlobe から Planet）で extensive retraining なしに移行可能か。
• RQ5 native 解像度で任意に大きな衛星画像を処理する際の実用的な推論速度はどれくらいか。

主な発見

対象クラス	F1 スコア	実行時間 (km^2/分)
Car	0.90±0.09	32
Airplane	0.87±0.08	32
Boat	0.82±0.07	32
Building	0.61±0.15	32
Airport	0.91±0.14	6000

• YOLT はカテゴリごとに F1 スコアが 0.61–0.91 の範囲を達成し、空港と車両の性能が最も高い（例：空港 F1 ≈ 0.91、車 ≈ 0.90）。
• GPU 上での推論速度は迅速で、約 50 フレーム毎秒、都市規模の領域での全体的な領域局在化は数分で可能。
• デュアルスケール分類器は小さな物体と大規模インフラとの混乱を避けることで結果を大幅に改善し、単一の普遍モデルを上回る。
• 車両の検出では約 5 ピクセル程度の小さな物体も高信頼度で局在化でき、物体サイズが約 1 ピクセルまで小さくなると性能は徐々に低下する。
• 30 cm GSD で、車・飛行機・ボート・建物・空港を検出でき、空港はスケールを超えて特に高い頑健性を示す。
• このパイプラインは車両と建物を約 30 km^2/分、空港を約 6,000 km^2/分の速度で局在化可能であり、リアルタイム近傍の衛星分析の実現性を示唆する。