[論文レビュー] IoU-uniform R-CNN: Breaking Through the Limitations of RPN

Li Zhu, Zihao Xie+3 more|arXiv (Cornell University)|Dec 11, 2019

Advanced Neural Network Applications参考文献 35被引用数 9

ひとこと要約

本稿では、2段階オブジェクト検出器における学習の不均衡を軽減するために、RPNが生成するトレーニングサンプルを、人工的にジャイタされた一様分布のIoUサンプルに置き換えるIoU-Uniform R-CNNを提案する。回帰とIoU予測ブランチの両方に対して、多様で一様に分布した正例サンプルを直接生成し、推論時に特徴オフセットを排除することで、局所化精度とNMS性能が向上し、PASCAL VOCおよびMS COCOで最先端の結果を達成した。ベースラインRPNベースの学習に比べ、最大2.0 APポイントの向上を達成した。

ABSTRACT

Region Proposal Network (RPN) is the cornerstone of two-stage object detectors, it generates a sparse set of object proposals and alleviates the extrem foregroundbackground class imbalance problem during training. However, we find that the potential of the detector has not been fully exploited due to the IoU distribution imbalance and inadequate quantity of the training samples generated by RPN. With the increasing intersection over union (IoU), the exponentially smaller numbers of positive samples would lead to the distribution skewed towards lower IoUs, which hinders the optimization of detector at high IoU levels. In this paper, to break through the limitations of RPN, we propose IoU-Uniform R-CNN, a simple but effective method that directly generates training samples with uniform IoU distribution for the regression branch as well as the IoU prediction branch. Besides, we improve the performance of IoU prediction branch by eliminating the feature offsets of RoIs at inference, which helps the NMS procedure by preserving accurately localized bounding box. Extensive experiments on the PASCAL VOC and MS COCO dataset show the effectiveness of our method, as well as its compatibility and adaptivity to many object detection architectures. The code is made publicly available at https://github.com/zl1994/IoU-Uniform-R-CNN,

研究の動機と目的

• 2段階検出器のためのRPNが生成するトレーニングサンプルにおけるIoU分布の不均衡と正例サンプル数の不足を解消すること。
• 現在の手法が歪んだサンプル分布のため性能を発揮できない高IoUレベルでの検出器性能を向上させること。
• 推論時の特徴オフセット問題を是正することで、非最大抑制（NMS）のためのIoU予測の信頼性を高めること。
• シンプルでプラグイン型の設計により、さまざまなオブジェクト検出アーキテクチャとの高い互換性と一般化性能を実現すること。

提案手法

• アノテーションの真値周辺に人工的にジャイタされたボクセルボックスを生成し、IoUレベルにわたって一様に分布する正例トレーニングサンプルを生成することで、RPNが生成するRoIを置き換える。
• これらの生成された一様分布サンプルを用いて、回帰およびIoU予測ブランチを訓練し、IoU間隔ごとの損失構成をバランスさせる。
• トレーニング中に異なるIoU間隔における勾配のバランスをさらに高めるための損失重み付け戦略を導入する。
• IoU予測ブランチにおいて、推論時にRoI内の特徴オフセットを排除するため、修正されたボクセルボックス座標を用いて特徴を更新する。
• Faster R-CNN や Cascade R-CNN といった標準的な2段階検出器に本手法を適用し、互換性と適応性を実証する。
• 線形スケーリング則の調整とアブレーションスタディを用いて、最適な性能を得るための、初期学習率とバッチサイズを最適化する。

実験結果

リサーチクエスチョン

• RQ1 RPNが生成するトレーニングサンプルを一様分布のIoUサンプルに置き換えることで、すべてのIoUレベルで検出器性能が向上するか？
• RQ2 推論時にRoI内の特徴オフセットを排除することで、IoU予測の正確性とNMSの有効性が向上するか？
• RQ3 トレーニングサンプルの分布が、回帰損失の構成と勾配更新の割合にどのように影響するか？
• RQ4 IoU-Uniform R-CNNは、PASCAL VOC や MS COCO といった標準ベンチマークでどの程度の性能向上を達成できるか？
• RQ5 本手法は、既存の2段階検出アーキテクチャとどの程度の互換性を持つのか？

主な発見

• ResNet-50-FPNを用いたMS COCOでは、55.1 mAPを達成し、RPNベースの学習に比べ2.0ポイントの向上を示した。
• PASCAL VOC 2007では、1GPUあたり2枚の画像と0.005の学習率で54.42 mAPを達成し、ベースライン設定を上回った。
• 推論時に特徴オフセットを排除することで、mAPが2.3ポイント向上した。特に生成された一様サンプルを用いた場合に最大の向上が観察された。
• 特徴オフセットを除去した後、IoU予測ブランチの正確性が顕著に向上し、予測されたIoUと実際の局所化品質との不整合が低減した。
• 本手法は強力な互換性と適応性を示し、複数のオブジェクト検出アーキテクチャにおいて一貫した向上を達成した。
• アブレーションスタディにより、最適な設定は1GPUあたり2枚の画像と0.005の学習率であることが確認され、サンプルの多様性が増加することで、標準的な線形スケーリング則を上回る性能が得られた。