[論文レビュー] R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object

Xue Yang, Junchi Yan+2 more|arXiv (Cornell University)|Aug 15, 2019

Advanced Image and Video Retrieval Techniques参考文献 71被引用数 160

ひとこと要約

R3Detは、特徴リファインメントモジュールと近似SkewIoUロスを備えた改良された単段回転物体検出器を提案し、航空写真・テキスト・リモートセンシングデータセットで正確な回転推定と高速性を実現します。

ABSTRACT

Rotation detection is a challenging task due to the difficulties of locating the multi-angle objects and separating them effectively from the background. Though considerable progress has been made, for practical settings, there still exist challenges for rotating objects with large aspect ratio, dense distribution and category extremely imbalance. In this paper, we propose an end-to-end refined single-stage rotation detector for fast and accurate object detection by using a progressive regression approach from coarse to fine granularity. Considering the shortcoming of feature misalignment in existing refined single-stage detector, we design a feature refinement module to improve detection performance by getting more accurate features. The key idea of feature refinement module is to re-encode the position information of the current refined bounding box to the corresponding feature points through pixel-wise feature interpolation to realize feature reconstruction and alignment. For more accurate rotation estimation, an approximate SkewIoU loss is proposed to solve the problem that the calculation of SkewIoU is not derivable. Experiments on three popular remote sensing public datasets DOTA, HRSC2016, UCAS-AOD as well as one scene text dataset ICDAR2015 show the effectiveness of our approach. Tensorflow and Pytorch version codes are available at https://github.com/Thinklab-SJTU/R3Det_Tensorflow and https://github.com/SJTU-Thinklab-Det/r3det-on-mmdetection, and R3Det is also integrated in our open source rotation detection benchmark: https://github.com/yangxue0827/RotationDetection.

研究の動機と目的

• 大きなアスペクト比を持つ物体、密集した分布、任意の向きの物体に対して、正確な回転検出を促進する。
• 速度を維持しつつ精度を向上させるエンドツーエンドの改良型単段検出器を開発する。
• 特徴のリファインメント中の特徴配置ずれを、専用の特徴リファインメントモジュール（FRM）で解決する。
• 回転推定を改善する、微分可能な近似SkewIoUロスを導入する。
• 複数の公開回転データセットで、重いマルチステージバックボーンを用いずに、最先端の性能を示す。

提案手法

• 初期段階では水平アンカーから始め、後段階で回転アンカーへと refinement する、漸進的な粗-細回帰戦略を採用する。
• 特徴リファインメントモジュール（FRM）を導入し、改良されたバウンディングボックス位置を画素単位のバイリニア補間で特徴点へ再エンコードして、特徴マップを再構築・整合させる。
• 微分可能な回帰項と近似SkewIoUロスを組み合わせたマルチタスク損失を用い、勾配を回転IoUとより良く整合させる。
• 改良されたボックスの特徴を効率的に再構築するため、バウンディングボックスフィルタリング（BF）と大きなカーネル（LK）特徴リファインメントステップを実装する。
• 速度を維持しつつ、段階的 IoU 閾値を用いた複数のリファインメント段階を適用して局所化を順次改善する。

実験結果

リサーチクエスチョン

• RQ1 速度を犠牲にせず、いかにして単段検出器を任意の回転物体に対して高精度にすることができるか？
• RQ2 特徴を整列させて再構成する特徴リファインメントモジュールは、回転物体の検出性能を改善するか？
• RQ3 近似的で微分可能なSkewIoUロスは、回転検出における回転回帰を標準ロスよりも改善できるか？
• RQ4 回転アンカーを用いた漸進的な粗→細回帰が、密集・大きなアスペクト比の物体検出に与える影響はどの程度か？
• RQ5 回転検出で収益減少が現れる前に、いくつのリファインメント段階が有益か？

主な発見

• 提案されたFRM主導の特徴再構成は測定可能な改善をもたらし、設定に応じてmAPを約0.8–2.8ポイント向上させる。
• FRMを用いた特徴リファインメントは顕著な利得をもたらし、FRM使用時にはDOTAで最大で2.79%の改善を示すアブレーション。
• 複数段階の漸進的な粗→細リファインメント戦略は顕著な利得をもたらすが、3段階以上のリファインメントが、アンサンブルの利得を超えて全体性能を必ずしも向上させるわけではない。
• 近似SkewIoUロス関数、特に指数基盤の変種は、訓練の安定性と最終的な回転精度を向上させ、報告された実験でPIoUベースラインを上回る。
• DOTAデータセットでは、R3Detファミリーは単段手法の中で最先端レベルに競り合い、多段階のトレーニング/テストを用いずに高い性能を示し、報告されたmAP値は従来の単段ベースラインを上回る。
• HRSC2016、UCAS-AOD、および ICDAR2015 のデータセットで、R3DetとFRMは、水平方向アンカーまたは回転アンカーを用いたベースラインと比較して検出精度を一貫して改善する。