[論文レビュー] An Implementation of Faster RCNN with Study for Region Sampling

Xinlei Chen, Abhinav Gupta|arXiv (Cornell University)|Feb 7, 2017

Advanced Neural Network Applications参考文献 7被引用数 124

ひとこと要約

この論文は TensorFlow で Faster R-CNN を実装し、簡略化を分析し、領域サンプリング戦略を研究する。小さな領域へ偏ったサンプリングは、十分な収束があれば NMS ベースのサンプリングと同等かそれを上回ることが示された。

ABSTRACT

We adapted the join-training scheme of Faster RCNN framework from Caffe to TensorFlow as a baseline implementation for object detection. Our code is made publicly available. This report documents the simplifications made to the original pipeline, with justifications from ablation analysis on both PASCAL VOC 2007 and COCO 2014. We further investigated the role of non-maximal suppression (NMS) in selecting regions-of-interest (RoIs) for region classification, and found that a biased sampling toward small regions helps performance and can achieve on-par mAP to NMS-based sampling when converged sufficiently.

研究の動機と目的

• Faster RCNN の結合学習を Caffe から TensorFlow へ適応させ、ベースライン実装とする。
• 元のパイプラインを簡略化し、VOC 2007 および COCO 2014 でアブレーションを通じて影響を評価する。
• 精度向上のための RoI 選択における領域サンプリングと NMS の役割を調査する。

提案手法

• RoI pooling の代わりに crop_and_resize プーリングを採用して 14×14 のクロップを作成し、fc6 入力用に 7×7 へ最大プーリングする。
• 1 枚の画像で訓練し、前向き・後向きパスごとに R=256 個の領域を扱う（バッチ間での勾配蓄積を回避）。
• デフォルトの RPN 訓練（R=256 領域）を維持しつつ、領域分類器をバイアスされた領域サンプリングで訓練する。
• 訓練中に小さな提案の排除 (<16 ピクセル) を削除、小物体で性能低下が観察されたため。
• 訓練・評価性能とリコールへの影響を調べるため、複数の領域サンプリング方式（NMS、ALL、PRE、POW、TOP）を比較する。

実験結果

リサーチクエスチョン

• RQ1 RoI pooling から crop_and_resize へ切り替えると、Faster R-CNN の性能に影響はあるか。
• RQ2 トレーニング時に小さな提案へ偏った領域をサンプリングするのは、冗長削除のために NMS に依存するより有利か。
• RQ3 異なる領域サンプリング方式（NMS、ALL、PRE、POW、TOP）が VOC 2007 および COCO 2014 での mAP とリコールに与える影響はどうなるか。
• RQ4 サンプルされる領域の数 R を増やすことが、収束と性能にどのような影響を与えるか。
• RQ5 訓練時に NMS がない場合、TOP（上位K個の提案を直接選択）のテストは補えるか。

主な発見

• TensorFlow Faster R-CNN 実装において、crop_and_resize プーリングは RoI プーリングよりわずかな性能向上をもたらす。
• 単一画像から R=256 領域をサンプリングする（N=1）は効果的で、複数バッチにまたぐ勾配蓄積の遅さを回避する。RPN は依然として 256 提案を使用。
• 訓練中の小さな提案フィルタ (<16 px) を削除すると、特に小さな物体で性能が向上する。
• 小領域へバイアスしたサンプリング（NMS ベース、PRE、POW、TOP 方式）は、ALL サンプリングと比較して、一般に同等かそれ以上の mAP/recall を実現し、K が大きい場合には TOP がしばしば NMS に匹敵または上回る。
• VOC 2007 では、バイアス付きサンプリング方式が約 71% の mAP を達成し、小サイズ物体の AP が改善されることを観察；COCO 2014 では、バイアス付きサンプリングが小物体の AP および AR を改善（特定の構成で AP および AR の向上を観察）する。
• R を 256 より大きくすると、利益薄化や過適合の可能性が生じ、256 が良いトレードオフを提供する。
• より長い訓練（例：COCO で 790k イテレーション）では、NMS とバイアス付きサンプリングの差が狭くなり、収束時間がサンプリング戦略の相対的な性能に影響を与えることを示唆する。