[論文レビュー] Salience Biased Loss for Object Detection in Aerial Images

Peng Sun, Guang Chen+2 more|arXiv (Cornell University)|Oct 18, 2018

Advanced Neural Network Applications参考文献 18被引用数 13

ひとこと要約

本論文は、画像の顕著性に基づいてトレーニングサンプルの重みを動的に調整する新しい損失関数であるSalience Biased Loss (SBL)を提案する。複雑で検出が難しいケースに焦点を当てることで、SBL-RetinaNetはDota上で最先端のモデルと比較して4.31 mAPの向上を達成したが、推論速度はRetinaNetと同等を維持した。

ABSTRACT

Object detection in remote sensing, especially in aerial images, remains a challenging problem due to low image resolution, complex backgrounds, and variation of scale and angles of objects in images. In current implementations, multi-scale based and angle-based networks have been proposed and generate promising results with aerial image detection. In this paper, we propose a novel loss function, called Salience Biased Loss (SBL), for deep neural networks, which uses salience information of the input image to achieve improved performance for object detection. Our novel loss function treats training examples differently based on input complexity in order to avoid the over-contribution of easy cases in the training process. In our experiments, RetinaNet was trained with SBL to generate an one-stage detector, SBL-RetinaNet. SBL-RetinaNet is applied to the largest existing public aerial image dataset, DOTA. Experimental results show our proposed loss function with the RetinaNet architecture outperformed other state-of-art object detection models by at least 4.31 mAP, and RetinaNet by 2.26 mAP with the same inference speed of RetinaNet.

研究の動機と目的

• 容易なサンプルがトレーニングを支配し、モデルの収束を妨げる空中画像の物体検出における学習の不均衡問題に対処する。
• 極端なスケール変動、任意の物体の向き、ごみだらけの背景を伴う複雑な空中画像における検出性能を向上させる。
• 推論速度をRetinaNetと同等に保ちながら、新たなトレーニング目的関数により精度を向上させる。
• 難易度の高い顕著な領域を適応的に優先する損失関数を開発し、モデルの汎化性能を向上させる。
• アーキテクチャの変更なしに、DOTA や LBAI のような大規模な空中画像データセットにおいてSBLの有効性を実証する。

提案手法

• 事前学習済みのResNet50バックボーンの途中の畳み込み特徴量（例：C2, C5）から顕著性マップを抽出し、画像の複雑さを定量化する。
• 特徴マップにおける顕著領域の空間的分布を用いて、各トレーニングサンプルの顕著性に基づく重みを計算する。
• SBLをRetinaNetの標準的な分類および回帰ヘッドに統合し、標準的な交差エントロピー損失をSBLに置き換える。
• 境界ボックスの回帰と分類に、SBLとスムーズL1損失の重み付き組み合わせを用い、損失寄与度を顕著性でスケーリングする。
• Adam最適化法を用い、コサインスケジュールによる学習率スケジューリングと固定入力解像度（Dota用に1024×1024、LBAI用に512×512）でSBL-RetinaNetを訓練する。
• アブレーションを通じて最良の顕著性レベル（C2）を特定し、これはベースラインのRetinaNetと比較して最も高いmAP向上を示した。

実験結果

リサーチクエスチョン

• RQ1 空中画像における顕著で複雑な領域を優先する損失関数は、推論コストを増加させることなく物体検出性能を向上させることができるか？
• RQ2 顕著性に基づく重み付けは、空中画像検出におけるクラス不均衡の処理において、標準的な交差エントロピー損失と比較してどのように優れているか？
• RQ3 提案されたSBL損失は、異なるオブジェクトスケールと背景の複雑さを示す多様な空中画像データセットに一般化可能か？
• RQ4 SBL-RetinaNetは、アーキテクチャの変更なしに、DOT Aのような大規模ベンチマークで最先端のモデルを上回ることができるか？
• RQ5 C2 や C5 などの特徴層のうち、空中検出における損失重み付けをガイドするのに最も効果的な顕著性表現を提供するのはどれか？

主な発見

• SBL-RetinaNetは、Dotaデータセットにおいて、最も近い競合モデル（Faster R-CNN）と比較して4.31 mAPの向上を達成し、既存の最先端モデルを著しく上回った。
• Dotaテストセットでは、SBL-RetinaNetが64.77 mAPを達成したのに対し、アンカーサイズチューニングを施したRetinaNetは62.51 mAPであった。推論速度は同一であり、2.26 mAPの向上を達成した。
• LBAIデータセットでは、SBL-RetinaNetはF1スコアで1.31%の向上（92.49%）を示し、改変済みのRetinaNetベースライン（91.18%）を上回り、優れた汎化性能を示した。
• C2特徴マップが最適な顕著性表現を提供し、最も高いmAP向上をもたらした。これは、初期段階の特徴が有用な複雑さの手がかりを捉えていることを示唆している。
• モデルは標準的なRetinaNetと同等の推論速度を維持しており、SBLがデプロイ時における計算オーバーヘッドを追加しないことを確認した。
• 可視化結果から、SBL-RetinaNetは、空中画像の一般的な課題である小規模・密集・回転したオブジェクトを、特に複雑な背景においてもよりよく検出していることがわかった。