[論文レビュー] Cascade RPN: Delving into High-Quality Region Proposal Network with Adaptive Convolution

Thang Vu, Hyunjun Jang+2 more|arXiv (Cornell University)|Sep 14, 2019

Advanced Neural Network Applications参考文献 44被引用数 71

ひとこと要約

Cascade RPN は、単一アンカー・多段階の領域提案ネットワークを導入し、適応畳み込みで特徴を洗練されたアンカーに合わせる。Fast/Faster R-CNN に組み込むと、提案 recall と検出 mAP に実質的な向上を達成する。

ABSTRACT

This paper considers an architecture referred to as Cascade Region Proposal Network (Cascade RPN) for improving the region-proposal quality and detection performance by \ extit{systematically} addressing the limitation of the conventional RPN that \ extit{heuristically defines} the anchors and \ extit{aligns} the features to the anchors. First, instead of using multiple anchors with predefined scales and aspect ratios, Cascade RPN relies on a \ extit{single anchor} per location and performs multi-stage refinement. Each stage is progressively more stringent in defining positive samples by starting out with an anchor-free metric followed by anchor-based metrics in the ensuing stages. Second, to attain alignment between the features and the anchors throughout the stages, \ extit{adaptive convolution} is proposed that takes the anchors in addition to the image features as its input and learns the sampled features guided by the anchors. A simple implementation of a two-stage Cascade RPN achieves AR 13.4 points higher than that of the conventional RPN, surpassing any existing region proposal methods. When adopting to Fast R-CNN and Faster R-CNN, Cascade RPN can improve the detection mAP by 3.1 and 3.5 points, respectively. The code is made publicly available at \\url{https://github.com/thangvubk/Cascade-RPN.git}.

研究の動機と目的

• 従来のRPNがヒューリスティックに定義されたアンカーと暗黙的な特徴とアンカーの整合性に依存するという限界に対処する。
• 各位置に単一アンカーとマルチステージ改良を持つCascade RPNを提案する。
• 段階を重ねるごとに洗練されたアンカーと特徴の整合性を維持する適応畳み込みを導入する。
• COCOでの領域提案（AR）と検出性能（mAP）の改善を示し、Fast R-CNN/Faster R-CNNとの統合を示す。

提案手法

• 1つのアンカーを各位置に使用し、マルチステージ改良で陽性サンプル定義を段階的に絞り込む（Stage 1はアンカーなし、後段はアンカーあり）。
• 適応畳み込みを導入し、画像特徴と現在のアンカーの両方を入力として、アンカーに導かれたサンプリング特徴を学習する（軽量なRoIAlignとして機能）。
• 段階ごとに陽性サンプルの基準を進化させる（Stage 1は中心領域ベース、後段はIoUベース）。
• エンドツーエンドで、段階別回帰損失と最終分類損失を統合したマルチタスク損失で訓練する。
• アライメント、AF/AB指標、回帰統計、IoU損失の影響を示す詳細なアブレーションを伴う2段 Cascade RPNのベースラインを提供する。

実験結果

リサーチクエスチョン

• RQ1 単一アンカーを各位置に持つCascade RPNは、多アンカーRPNより高品質な領域提案を達成できるか。
• RQ2 適応畳み込みを介して洗練されたアンカーと特徴の整合性を強制することは、提案品質と下流の検出性能にどのような影響を与えるか。
• RQ3 段階間でアンカーなし→アンカーありのサンプリング基準を用いることが、さまざまな提案数におけるARにどのような影響を与えるか。
• RQ4 Cascade RPNをFast/Faster R-CNNに統合した場合、標準RPNと比較してmAPに有意な改善をもたらすか。

主な発見

方法	バックボーン	AR100	AR300	AR1000	AR S	AR M	AR L	時間（秒）
SharpMask	ResNet-50	36.4	-	48.2	-	-	-	0.76
GCN-NS	VGG-16 (Sync BN)	31.6	-	60.7	-	-	-	0.10
AttractioNet	VGG-16	53.3	-	66.2	31.5	62.2	77.7	4.00
ZIP	BN-inception	53.9	-	67.0	31.9	63.0	78.5	1.13
RPN	ResNet-50-FPN	44.6	52.9	58.3	29.5	51.7	61.4	0.04
Iterative RPN	-	48.5	55.4	58.8	32.1	56.9	65.4	0.05
Iterative RPN+	-	54.0	60.4	63.0	35.6	62.7	73.9	0.06
GA-RPN	-	59.1	65.1	68.5	40.7	68.2	78.4	0.06
Cascade RPN	-	61.1	67.6	71.7	42.1	69.3	82.8	0.06

• Cascade RPN（2段階）は、従来のRPNと比較してAR100/AR300/AR1000をそれぞれ16.5、14.7、13.4ポイント改善。
• COCO valでCascade RPNはAR100 61.1、AR300 67.6、AR1000 71.7を0.06 s Timeで達成し、従来法を上回る。
• Cascade RPNをFast R-CNNおよびFaster R-CNNに統合すると、それぞれ+3.1および+3.5 mAPをもたらす。
• 特徴を洗練されたアンカーに合わせる適応畳み込みは重要で、中心整合と形状整合の両方と組み合わせると大きな利得を得られる。
• 2段 Cascade RPNは推論時間を合理的に維持しつつ強力な利得を提供（2段がしばしば最良のトレードオフ）。
• Cascade R-CNN with Cascade RPN は、RPNベースのパイプラインと比較してAP（主にAP75）を向上させる。