[論文レビュー] Cascade RPN: Delving into High-Quality Region Proposal Network with Adaptive Convolution

Thang Vu, Hyunjun Jang+2 more|arXiv (Cornell University)|Sep 15, 2019

Advanced Neural Network Applications被引用数 53

ひとこと要約

Cascade RPN は単一アンカー・多段階の領域提案ネットワークを提案し、適応畳み込みで特徴とアンカーの整合を維持することで、従来の RPN に対する AR および mAP の著しい向上を達成し、Fast/Faster R-CNN 検出器を改善します。

ABSTRACT

This paper considers an architecture referred to as Cascade Region Proposal Network (Cascade RPN) for improving the region-proposal quality and detection performance by extit{systematically} addressing the limitation of the conventional RPN that extit{heuristically defines} the anchors and extit{aligns} the features to the anchors. First, instead of using multiple anchors with predefined scales and aspect ratios, Cascade RPN relies on a extit{single anchor} per location and performs multi-stage refinement. Each stage is progressively more stringent in defining positive samples by starting out with an anchor-free metric followed by anchor-based metrics in the ensuing stages. Second, to attain alignment between the features and the anchors throughout the stages, extit{adaptive convolution} is proposed that takes the anchors in addition to the image features as its input and learns the sampled features guided by the anchors. A simple implementation of a two-stage Cascade RPN achieves AR 13.4 points higher than that of the conventional RPN, surpassing any existing region proposal methods. When adopting to Fast R-CNN and Faster R-CNN, Cascade RPN can improve the detection mAP by 3.1 and 3.5 points, respectively. The code is made publicly available at \url{https://github.com/thangvubk/Cascade-RPN.git}.

研究の動機と目的

• 従来の RPN のヒューリスティックに基づくアンカーと特徴のずれに起因する限界に対処する。
• 位置あたりの単一アンカーによる cascade 的な多段階改良を導入する。
• 改良されたアンカーとサンプリング特徴の整合を維持する適応畳み込みを提案する。
• Fast R-CNN および Faster R-CNN に組み込んだ場合の顕著な領域提案 AR の向上と検出器 mAP の改善を示す。

提案手法

• 各位置につき単一のアンカーを使用し、段階ごとにアンカーなしからアンカーありへ正例サンプル基準を漸進的に適用する。
• 現在のアンカーに guided して特徴をサンプリングする適応畳み込みを導入し、段階を越えて整合を保持する。
• 段階ごとのサンプル判別指標（初期段階はアンカーなし、後段は IoU ベース）によって正例サンプルを定義する。
• エンドツーエンド学習と段階別回帰と全体分類を組み合わせた多タスク損失を用いた簡易な二段 Cascade RPN を提供する。
• COCO 2017 で訓練・評価を行い、二段検出器に統合した場合の AR と検出器 AP の向上を測定する。

実験結果

リサーチクエスチョン

• RQ1 単一の位置あたりのアンカーと多段階の改良で、マルチアンカ RPN より領域提案品質が上回るか？
• RQ2 適応畳み込みでアンカーと特徴の整合を強制することで、より高い AR と検出性能が得られるか？
• RQ3 段階を通じてアンカーなしとアンカーありのサンプル判別が提案品質にどう影響するか？
• RQ4 Cascade RPN を Fast R-CNN および Faster R-CNN に統合した場合の検出利得はどの程度か？
• RQ5 Cascade RPN の段階数の増加が提案品質と速度に与える影響は？

主な発見

手法	AR 100	AR 300	AR 1000	AR S	AR M	AR L	時間（秒）
SharpMask	36.4	-	48.2	-	-	-	0.76
GCN-NS	31.6	-	60.7	-	-	-	0.10
AttractioNet	53.3	-	66.2	31.5	62.2	77.7	4.00
ZIP	53.9	-	67.0	31.9	63.0	78.5	1.13
RPN	44.6	52.9	58.3	29.5	51.7	61.4	0.04
Iterative RPN	48.5	55.4	58.8	32.1	56.9	65.4	0.05
Iterative RPN+	54.0	60.4	63.0	35.6	62.7	73.9	0.06
GA-RPN	59.1	65.1	68.5	40.7	68.2	78.4	0.06
Cascade RPN	61.1	67.6	71.7	42.1	69.3	82.8	0.06

• Cascade RPN は RPN より AR を改善し、二段階 cascade でベースラインより AR が 13.4 ポイント高い。
• Cascade RPN を Fast R-CNN および Faster R-CNN に統合すると、それぞれ mAP が 3.1 および 3.5 ポイント向上。
• 適応畳み込みは refined アンカーと特徴の整合を維持し、顕著な AR の向上に寄与（特に AR 1000）。
• 最初をアンカーなし、後段をアンカーありとするサンプル判別の組み合わせが最良の AR 改善をもたらす（片方の指標だけを用いる Ablation では大幅な低下が見られる）。
• Cascade RPN は COCO 2017 上で既存の領域提案手法と競合または優位に立つ、単純でエンドツーエンドの訓練可能な手法を提供する。