[論文レビュー] Dense Label Encoding for Boundary Discontinuity Free Rotation Detection

Xue Yang, Liping Hou+3 more|arXiv (Cornell University)|Nov 19, 2020

Advanced Image and Video Retrieval Techniques参考文献 66被引用数 18

ひとこと要約

本論文は、回転検出における境界不連続性の問題を解消するため、回帰ベースの手法に内在する問題を回避する角度分類を用いたDense Label Encoding（DLE）を提案する。2つのDensely Coded Labels（DCL）とAngle Distance and Aspect Ratio Sensitive Weighting（ADARSW）を導入することで、訓練速度を約3倍に加速し、DOTA や HRSC2016 のような困難なデータセットでmAPを最大2.3%向上させ、精度と効率性を向上させた最先端の性能を達成した。

ABSTRACT

Rotation detection serves as a fundamental building block in many visual applications involving aerial image, scene text, and face etc. Differing from the dominant regression-based approaches for orientation estimation, this paper explores a relatively less-studied methodology based on classification. The hope is to inherently dismiss the boundary discontinuity issue as encountered by the regression-based detectors. We propose new techniques to push its frontier in two aspects: i) new encoding mechanism: the design of two Densely Coded Labels (DCL) for angle classification, to replace the Sparsely Coded Label (SCL) in existing classification-based detectors, leading to three times training speed increase as empirically observed across benchmarks, further with notable improvement in detection accuracy; ii) loss re-weighting: we propose Angle Distance and Aspect Ratio Sensitive Weighting (ADARSW), which improves the detection accuracy especially for square-like objects, by making DCL-based detectors sensitive to angular distance and object's aspect ratio. Extensive experiments and visual analysis on large-scale public datasets for aerial images i.e. DOTA, UCAS-AOD, HRSC2016, as well as scene text dataset ICDAR2015 and MLT, show the effectiveness of our approach. The source code is available at https://github.com/Thinklab-SJTU/DCL_RetinaNet_Tensorflow and is also integrated in our open source rotation detection benchmark: https://github.com/yangxue0827/RotationDetection.

研究の動機と目的

• 周期的で角度回帰に起因する境界不連続性とエッジ交換可能性（EoE）の問題を解消すること。
• 分類ベースの回転検出器の訓練効率と検出精度を向上させること。
• 疎行列で符号化されたラベル（SCL）や回帰の欠点を回避する、軽量で頑健な角度分類フレームワークを構築すること。
• 特に正方形に近い形状や高アスペクト比の物体に対して、角度距離とアスペクト比への感受性を高めること。
• 既存の検出器（例：RetinaNet や R3Det）と互換性がある汎用的で高性能なソリューションを確立すること。

提案手法

• 疎行列で符号化されたラベル（SCL）に代わる2つのDensely Coded Labels（DCL）—Binary Code Labeling（BCL）とGray Code Labeling（GCL）—を提案し、コード長を短縮して訓練を高速化する。
• 角度距離とアスペクト比に敏感な重み付け戦略として、Angle Distance and Aspect Ratio Sensitive Weighting（ADARSW）を導入し、角度距離が近い予測および極端なアスペクト比を持つオブジェクトに高い重みを付与する。
• 境界ボックスに長辺定義（180°範囲）を採用することで、エッジ交換可能性（EoE）と周期性（PoA）の問題を内蔵的に解決する。
• DCLを用いたクロスエントロピー損失を採用し、エンドツーエンドの訓練を可能にし、各ラベルが一意な角度カテゴリに対応する密な連続的符号化を実現する。
• 主成分分析（PCA）を用いて角度特徴表現を可視化し、DCLが意味的で識別性の高い特徴学習を可能にしていることを確認する。
• DCLをRetinaNetおよびR3Detに統合し、複数のアーキテクチャで互換性と性能向上を実証する。

実験結果

リサーチクエスチョン

• RQ1 分類ベースの回転検出において、DCLによる角度ラベルの密な符号化は、SCLに比べて著しく訓練時間を短縮できるか？
• RQ2 提案されたADARSW損失再重み付け戦略は、正方形に近い形状や高アスペクト比のオブジェクトに対して、検出精度を向上させるか？
• RQ3 DCLに基づく検出器は、境界不連続性の問題を解消したまま最先端の性能を達成できるか？
• RQ4 mAPと訓練速度の観点から、DCL手法は回帰ベースおよびSCLベースの手法と比較して、多様なデータセットでどのように差をつけるか？
• RQ5 DCLフレームワークは、異なる検出器バックボーンおよびデータセットに対してどれほど汎用的か？

主な発見

• DCLベースの手法は、ベンチマーク全体にわたり、SCLベースのモデルと比較して訓練速度が3倍に向上した。
• DOTAの検証セットでは、DCLベースのRetinaNetがmAP50:95で36.71%を達成し、SCLベースのCSLモデル（35.04%）および回帰ベースのベースラインを上回った。
• ADARSWを適用したBCLベースのモデルはICDAR2015で10カテゴリmAPを2.3%向上させ、GCLベースのモデルは2.13%向上させた。
• HRSC2016では、R3Det-DCLモデルがmAP（07）で89.46%、mAP（12）で96.41%を達成し、新たな最先端性能を樹立した。
• 本手法は非常に汎用的であり、大規模なバックボーンおよびデータ拡張設定下でもR3DetのmAPを1.8%向上させた。
• PCAによる可視化により、DCLが最小限の損失関数でも意味的で識別性の高い角度特徴学習を可能にしていることが確認された。