[論文レビュー] Learning Modulated Loss for Rotated Object Detection

Wen Qian, Xue Yang+3 more|arXiv (Cornell University)|Nov 19, 2019

Advanced Image and Video Retrieval Techniques参考文献 54被引用数 63

ひとこと要約

本論文は回転物体検出器における回転感度誤差を明らかにし、モジュレートされた回転損失と八パラメータ回帰でこれを解決し、DOTAで最先端の性能を達成するとともに良好な一般化を示した。

ABSTRACT

Popular rotated detection methods usually use five parameters (coordinates of the central point, width, height, and rotation angle) to describe the rotated bounding box and l1-loss as the loss function. In this paper, we argue that the aforementioned integration can cause training instability and performance degeneration, due to the loss discontinuity resulted from the inherent periodicity of angles and the associated sudden exchange of width and height. This problem is further pronounced given the regression inconsistency among five parameters with different measurement units. We refer to the above issues as rotation sensitivity error (RSE) and propose a modulated rotation loss to dismiss the loss discontinuity. Our new loss is combined with the eight-parameter regression to further solve the problem of inconsistent parameter regression. Experiments show the state-of-art performances of our method on the public aerial image benchmark DOTA and UCAS-AOD. Its generalization abilities are also verified on ICDAR2015, HRSC2016, and FDDB. Qualitative improvements can be seen in Fig 1, and the source code will be released with the publication of the paper.

研究の動機と目的

• 回転物体検出の安定性と精度を向上させるため、損失の不連続性とパラメータ回帰の不整合を解決する。
• 回転境界での損失不連続性とパラメータ間の単位不整合として、回転感度誤差（RSE）を定式化する。
• 五パラメータモデルの学習を滑らかにするためのモジュレート回転損失を提案する。
• 回帰の単位不整合を排除し安定性を向上させるために八パラメータ回帰を採用する。
• DOTAでの最先端性能と、ICDAR2015、HRSC2016、UCAS-AODへの堅牢な転移を実証する。

提案手法

• 五パラメータ(OpenCVスタイル)および八パラメータ境界箱表現を定義する。
• 五パラメータモデルと回帰単位の不一致、および角度の周期性・幅高さの交換に起因する回転感度誤差（RSE）を特定する。
• エッジ近傍の学習を滑らかにする対称性に基づく補正を組み込んだ標準的なL1様項とをブレンドするモジュレート回転損失（ell_mr）を導入する（式(4)）。
• 五パラメータ回帰に対して正規化座標とアスペクト比を用いたell_mrを表現する（式(5-4)）。
• 八パラメータモデルの残留的不連続性を、頂点順序をずらすell_8p_mrと3つのアライメントシナリオの最小値をとることで対処する（式(6)）。
• RSDetは八パラメータ回帰とell_mrを用いた RetinaNet-H上に構築され、安定に学習し、回転物体ベンチマークにおけるベースラインを上回ることを示す。

実験結果

リサーチクエスチョン

• RQ1 標準的な五パラメータまたは八パラメータ表現を使用した場合、訓練の不安定さと性能低下は何によって生じるのか？
• RQ2 モジュレート損失は角度の周期性や幅高さの交換によって生じる損失不連続を解決できるのか？
• RQ3 八パラメータ回帰は回帰の単位不一致を緩和し、回転ボックスの回帰安定性を改善するのか？
• RQ4 提案手法のRSDetはDOTAで最先端手法と比較してどのように性能を示し、他データセットへどの程度一般化するのか？

主な発見

Method	PL	BD	BR	GTF	SV	LV	SH	TC	BC	ST	SBF	RA	HA	SP	HC	mAP
FR-O [13]	79.1	69.1	17.2	63.5	34.2	37.2	36.2	89.2	69.6	59.0	49.4	52.5	46.7	44.8	46.3	52.9
R 2 CNN [20]	80.9	65.7	35.3	67.4	59.9	50.9	55.8	90.7	66.9	72.4	55.1	52.2	55.1	53.4	48.2	60.7
RRPN [21]	88.5	71.2	31.7	59.3	51.9	56.2	57.3	90.8	72.8	67.4	56.7	52.8	53.1	51.9	53.6	61.0
RetinaNet-H+ResNet50 [10]	88.9	74.5	40.1	58.0	63.1	50.6	63.6	90.9	77.9	76.4	48.3	55.9	50.7	60.2	34.2	62.2
RSDet+ResNet50 (ours)	89.3	82.7	47.7	63.9	66.8	62.0	67.3	90.8	85.3	82.4	62.3	62.4	65.7	68.6	64.6	70.8
RSDet+ResNet101 (ours)	89.8	82.9	48.6	65.2	69.5	70.1	70.2	90.5	85.6	83.4	62.5	63.9	65.6	67.2	68.0	72.2
RSDet+ResNet152 (ours)	90.2	83.5	53.6	70.1	64.6	79.4	67.3	91.0	88.3	82.5	64.1	68.7	62.8	69.5	66.9	73.5
RSDet+ResNet152+Refine (ours)	90.1	82.0	53.8	68.5	70.2	78.7	73.6	91.2	87.1	84.7	64.3	68.2	66.1	69.3	63.7	74.1

• 五パラメータモデルとell_mrによりDOTAでResNet-50 RetinaNet-HのmAPが62.14から64.49へ向上。
• 八パラメータ回帰とell_mrでさらにDOTAのmAPが66.77へ向上。
• RSDetは八パラメータ回帰で学習の安定性が改善され（図7）、バックボーン間で精度が高い（ResNet-50/101/152）。
• DOTAではResNet-152+Refineを用いたときのアブレーションでRSDetが74.1 mAPを達成し、RSDet系列は表3でRRPN、SCRDet、R3 Detなどの最先端手法を上回る。
• ICDAR2015とHRSC2016は良好に一般化し、ell_mrと八パラメータ回帰によりベースラインよりよいAPを得ている（表5）。
• UCAS-AODの結果はRSDetがPlaneとCarタスクでAPを96.50%まで達成し、既存手法を上回る（表6）。