[論文レビュー] Gradient Harmonized Single-stage Detector

Buyu Li, Yu Liu+1 more|arXiv (Cornell University)|Nov 13, 2018

Anomaly Detection Techniques and Applications参考文献 35被引用数 67

ひとこと要約

本論文は Gradient Harmonizing Mechanism (GHM) を導入し、ワンステージ検出器における勾配寄与のバランスを取る。分類には GHM-C、回帰には GHM-R を提案し、過度なハイパーパラメータ調整なしで COCO で最先端の結果を達成。

ABSTRACT

Despite the great success of two-stage detectors, single-stage detector is still a more elegant and efficient way, yet suffers from the two well-known disharmonies during training, i.e. the huge difference in quantity between positive and negative examples as well as between easy and hard examples. In this work, we first point out that the essential effect of the two disharmonies can be summarized in term of the gradient. Further, we propose a novel gradient harmonizing mechanism (GHM) to be a hedging for the disharmonies. The philosophy behind GHM can be easily embedded into both classification loss function like cross-entropy (CE) and regression loss function like smooth-$L_1$ ($SL_1$) loss. To this end, two novel loss functions called GHM-C and GHM-R are designed to balancing the gradient flow for anchor classification and bounding box refinement, respectively. Ablation study on MS COCO demonstrates that without laborious hyper-parameter tuning, both GHM-C and GHM-R can bring substantial improvement for single-stage detector. Without any whistles and bells, our model achieves 41.6 mAP on COCO test-dev set which surpasses the state-of-the-art method, Focal Loss (FL) + $SL_1$, by 0.8.

研究の動機と目的

• ワン-stage detectors における学習の不調和の原因（クラス/属性不均衡）を特定する。
• 学習中の勾配寄与をバランスさせる勾配ベースのハーモナイジング機構を提案する。
• extensive hyper-parameter tuning を用いず、ミニバッチデータに適応する GHM-C（分類）と GHM-R（回帰）を開発する。
• RetinaNet 風のワン-stage 検出器を用いて COCO で改善を示し、 focal loss や他のベースラインと比較する。

提案手法

• 勾配密度 GD(g) を、訓練サンプル全体の勾配ノルム g の分布として定義する。
• 各サンプルについて勾配ハーモナイジングパラメータ beta_i = N / GD(g_i) を計算し、損失に対して重み付けを行う。
• 標準 CE 損失を置換して GHM-C を定式化し、L_GHM-C = (1/N) sum_i beta_i L_CE(p_i, p_i*) とする。
• 回帰には ASL1 (Authentic Smooth L1) を導入し勾配 gr を用いて GHM-R を L_GHM-R = (1/N) sum_i beta_i ASL1(d_i) とする。
• ミニバッチ更新の安定性を確保するため、ユニット領域（epsilon）による勾配密度の近似と EMA 平滑化を導入する。
• GHM は各バッチのデータ分布に適応し、簡単なネガティブ例や外れ値の支配を抑制することを示す。

実験結果

リサーチクエスチョン

• RQ1 勾配密度ベースの再重み付けは、ワン-stage 検出器の学習効率と精度を改善できるか。
• RQ2 GHM-C と GHM-R は、それぞれ COCO ベンチマークで交差エントロピー損失とスムーズ L1 損失と比較してどうか。
• RQ3 提案された EMA ベースの勾配密度推定は、大規模データセットで安定かつスケーラブルな学習を提供するか。
• RQ4 GHM アプローチは二段階検出器や他のバックボーンへ転用して、精度を維持または向上できるか。

主な発見

手法	ネットワーク	AP	AP50	AP75	AP_S	AP_M	AP_L
Faster RCNN	FPN-ResNet-101	36.2	59.1	39.0	18.2	39.0	48.2
Mask RCNN	FPN-ResNet-101	38.2	60.3	41.7	20.1	41.1	50.2
Mask RCNN	FPN-ResNeXt-101	39.8	62.3	43.4	22.1	43.2	51.2
YOLOv3	DarkNet-53	33.0	57.9	34.4	18.3	35.4	41.9
DSSD513	DSSD-ResNet-101	33.2	53.3	35.2	13.0	35.4	51.1
Focal Loss	RetinaNet-FPN-ResNet-101	39.1	59.1	42.3	21.8	42.7	50.2
Focal Loss	RetinaNet-FPN-ResNeXt-101	40.8	61.1	44.1	24.1	44.2	51.2
GHM-C + GHM-R	RetinaNet-FPN-ResNet-101	39.9	60.8	42.5	20.3	43.6	54.1
GHM-C + GHM-R	RetinaNet-FPN-ResNeXt-101	41.6	62.8	44.2	22.3	45.1	55.3

• GHM-C は標準 CE に対する分類性能を大幅に改善し、COCO で Focal Loss より競合、またはそれを上回ることがある。
• GHM-R は回帰を SL1 および ASL1 より改善し、特に高い IoU 閾値で位置推定が改善される。
• GHM-C と GHM-R の組み合わせと RetinaNet の組み合わせで、COCO test-dev で Focal Loss 系よりも優れた結果に近い。
• 単位領域近似（M が約30）の導入により、学習は効率的で、素朴な密度推定よりも大幅に高速で、性能向上を維持する。
• GHM アプローチは二段階検出器にも拡張され、Faster R-CNN 系の SL1 ベースラインより AP が改善された。
• COCO test-dev において、GHM-C + GHM-R を用いた RetinaNet-ResNet-101 は 39.9 AP を達成し、ResNeXt-101 では 41.6 AP を達成、Focal Loss ベースラインを超える。