[論文レビュー] Learning a Rotation Invariant Detector with Rotatable Bounding Box

Lei Liu, Zongxu Pan+1 more|arXiv (Cornell University)|Nov 26, 2017

Advanced Neural Network Applications参考文献 23被引用数 165

ひとこと要約

本論文は DRBox を導入する。回転可能境界ボックス（RBox）を用いて任意方向の物体を正確に検出する回転不変検出器を提案し、SSDおよび Faster R-CNN を上回る。訓練中に物体の向きを学習し、多角度物体の向き角を出力する。

ABSTRACT

Detection of arbitrarily rotated objects is a challenging task due to the difficulties of locating the multi-angle objects and separating them effectively from the background. The existing methods are not robust to angle varies of the objects because of the use of traditional bounding box, which is a rotation variant structure for locating rotated objects. In this article, a new detection method is proposed which applies the newly defined rotatable bounding box (RBox). The proposed detector (DRBox) can effectively handle the situation where the orientation angles of the objects are arbitrary. The training of DRBox forces the detection networks to learn the correct orientation angle of the objects, so that the rotation invariant property can be achieved. DRBox is tested to detect vehicles, ships and airplanes on satellite images, compared with Faster R-CNN and SSD, which are chosen as the benchmark of the traditional bounding box based methods. The results shows that DRBox performs much better than traditional bounding box based methods do on the given tasks, and is more robust against rotation of input image and target objects. Besides, results show that DRBox correctly outputs the orientation angles of the objects, which is very useful for locating multi-angle objects efficiently. The code and models are available at https://github.com/liulei01/DRBox.

研究の動機と目的

• 遠隔 sensing 画像の任意の向きターゲットに対する回転不変物体検出を動機づける。
• 位置とサイズに加え向きを符号化する回転可能境界ボックス（RBox）を提案する。
• 多角度RBoxと角度を予測するCNNベースの検出器であるDRBoxを開発する。
• 正しい角度推定を強制するため ArIoU ベースのマッチングで DRBox を訓練する。
• 従来のBBoxベース検 detectors より精度と回転堅牢性の向上を示す。

提案手法

• 角度を含む5つのパラメータを持つ回転可能境界ボックス（RBox）を定義する。
• マッチングと訓練指針のためIoUと角度対応のArIoUを用いる。
• 角度の周期性を正弁化するタンジェント表現を用いた角度回帰項を取り入れ、SSD損失を拡張する。
• 検出時に複数角度の事前RBoxを組み込み、複数の方位を探索する。
• 大規模な衛星画像を扱うため、ピラミッド入力と300x300のサブ画像を適用する。
• 船舶、車両、飛行機向けに、それぞれのカテゴリに合わせて固定アスペクト比を持つ3つの専門的なDRBoxモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 回転可能境界ボックスは、衛星画像中の任意の向きの物体に対して回転不変検出を可能にするか？
• RQ2 ArIoUベースのマッチングで訓練することは、回転全体での角度推定と検出精度を改善するか？
• RQ3 リモートセンシングデータにおける精度、再現率、回転堅牢性の観点で、DRBoxはBBoxベースの検 detectors (SSD, Faster R-CNN) とどう比較されるか？
• RQ4 多角度事前情報とピラミッド入力が検出性能と速度に与える影響は何か？

主な発見

• DRBoxはリモートセンシング画像における船舶、車両、飛行機検出でFaster R-CNNおよびSSDを上回り、BEP、AP、およびmAP指標で優位である。
• DRBoxは精度-再現率性能が高く、入力画像と物体の回転耐性（STD_AP および STD_AS）にも優れている。
• ArIoUベースのマッチングは適切な角度ガイダンスを持つ陽性サンプルの割り当てに役立ち、学習済みの向き推定を可能にする。
• DRBoxは検出された物体に対して向き角を出力し、多角度ターゲットの局所化を支援する。
• DRBox は GTX 1080Ti 上で70–80 fps、ピラミッド入力は時間コストを最大で4/3倍程度増やすのみで、約1600x1600 px^2/s を達成。