[論文レビュー] ReDet: A Rotation-equivariant Detector for Aerial Object Detection

Jiaming Han, Jian Ding+2 more|arXiv (Cornell University)|Mar 13, 2021

Advanced Neural Network Applications参考文献 45被引用数 39

ひとこと要約

ReDet は回転等角バックボーンと回転不変 RoI Align を導入し、空撮物体検出の完全回転不変特徴を実現。最先端の mAP を達成しつつモデルサイズを削減。

ABSTRACT

Recently, object detection in aerial images has gained much attention in computer vision. Different from objects in natural images, aerial objects are often distributed with arbitrary orientation. Therefore, the detector requires more parameters to encode the orientation information, which are often highly redundant and inefficient. Moreover, as ordinary CNNs do not explicitly model the orientation variation, large amounts of rotation augmented data is needed to train an accurate object detector. In this paper, we propose a Rotation-equivariant Detector (ReDet) to address these issues, which explicitly encodes rotation equivariance and rotation invariance. More precisely, we incorporate rotation-equivariant networks into the detector to extract rotation-equivariant features, which can accurately predict the orientation and lead to a huge reduction of model size. Based on the rotation-equivariant features, we also present Rotation-invariant RoI Align (RiRoI Align), which adaptively extracts rotation-invariant features from equivariant features according to the orientation of RoI. Extensive experiments on several challenging aerial image datasets DOTA-v1.0, DOTA-v1.5 and HRSC2016, show that our method can achieve state-of-the-art performance on the task of aerial object detection. Compared with previous best results, our ReDet gains 1.2, 3.5 and 2.6 mAP on DOTA-v1.0, DOTA-v1.5 and HRSC2016 respectively while reducing the number of parameters by 60\% (313 Mb vs. 121 Mb). The code is available at: \url{https://github.com/csuhan/ReDet}.

研究の動機と目的

• 航空画像における任意の物体の向きに対処する動機づけと目的。
• 検出器のバックボーンに回転等角ネットワークを組み込む。
• 完全に回転不変な RoI 特徴を生成する Rotation-invariant RoI Align の開発。
• DOTA-v1.0、DOTA-v1.5、HRSC2016 で最先端の性能を示す。
• ベースラインに対するモデルサイズと精度の改善を示す。

提案手法

• N方向チャネルに跨る回転等角特徴マップを生成するために、ReResNetを用いた回転等角バックボーンとReFPNを採用する。
• 空間 RoI ワーピングと向きチャネルの切替および補間を行い、回転不変 RoI 特徴を得る RiRoI Align を導入する。
• RoI Transformerを用いて回転した RoI を生成し、RoI ごとの分類と bbox 回帰に RiRoI Align を適用する。
• 方向付き境界ボックスを持つ空撮データセット上で、標準の検出パイプライン（RPN, RoIHead）で訓練・微調整する。
• 回転等角設計による共有重みとパラメータ削減によるパラメータ効率を示す。

Figure 1: Illustration of our method (top) and comparisons of RRoI warping (bottom) . CNN features are not equivariant to the rotation $T_{r}$ , i.e. , feeding a rotated image to CNNs is not the same as rotating feature maps of the original image. Therefore, the corresponding RoI features are not in

実験結果

リサーチクエスチョン

• RQ1 回転等角バックボーンは空撮物体 detector における大きな向き特化パラメータの必要性を減らすことができるか？
• RQ2 Rotation-invariant RoI Align は回転等角バックボーンから効果的に向き不変特徴を抽出できるか？
• RQ3 強力なベースラインと比較して、ReDet が主要な空撮検出ベンチマーク（DOTA-v1.0、DOTA-v1.5、HRSC2016）に与える影響はどの程度か？
• RQ4 非回転拡張法と比較した場合、モデルサイズと精度のトレードオフに対する ReDet の影響はどうなるか？

主な発見

手法	AP50 (DOTA-v1.0)	AP75 (DOTA-v1.0)	mAP (DOTA-v1.0)	AP50 (HRSC2016)	AP75 (HRSC2016)	mAP (HRSC2016)
baseline	75.62	48.37	46.13	90.18	80.48	68.17
ReDet (Ours)	76.25	50.86	47.11	90.46	89.46	70.41

• ReDet は DOTA-v1.0 で 80.10 mAP、DOTA-v1.5 で 76.80 mAP、HRSC2016 で 90.46 mAP を達成し、従来の最高記録をそれぞれ 1.2、3.5、2.6 mAP 上回った。
• ReDet はモデルサイズを約60%削減（313 Mb のベースラインに対して 121 Mb）し、競争力あるか優れた性能を提供。
• RiRoI Align は従来の RRoI Align を上回り、l=2 の向き補間が最も良い mAP 増分を示す（アブレーションで 66.86 mAP）。
• 回転等角バックボーン（ReResNet+ReFPN）は、特に C8 回転群においては、パラメータを大幅に削減しつつ検出性能を向上させる。
• 同様のスケジュール下で回転拡張ベースラインと比較して、ReDet は訓練時間をほぼ同等にしつつ顕著な mAP 増加とより高いパラメータ効率を示す。

Figure 2: Model size vs. accuracy (mAP) on DOTA-v1.5. We evaluate RetinaNet OBB [ 18 ] , Faster R-CNN OBB (FR) [ 27 ] , Mask R-CNN (Mask) [ 11 ] and Hybrid Task Cascade (HTC) [ 2 ] with ResNet18 (R18) and ResNet50 (R50) backbones. Note all algorithms are our re-implemented version for DOTA, which is