[論文レビュー] Deep Regionlets for Object Detection

Hongyu Xu, Xutao Lv+4 more|arXiv (Cornell University)|Dec 6, 2017

Advanced Neural Network Applications参考文献 49被引用数 7

ひとこと要約

本稿では、非長方形領域選択と学習可能なリージョンレットをエンドツーエンドのディープラーニングパイプラインに統合する、新しいオブジェクト検出フレームワーク「Deep Regionlets」を提案する。領域選択ネットワークとゲーティングベースのディープリージョンレット学習モジュールを用いることで、変形しやすいオブジェクトの特徴表現を向上させ、セグメンテーションラベルを一切必要とせず、PASCAL VOCおよびMS COCOで最先端の性能を達成した。

ABSTRACT

In this paper, we propose a novel object detection framework named "Deep Regionlets" by establishing a bridge between deep neural networks and conventional detection schema for accurate generic object detection. Motivated by the abilities of regionlets for modeling object deformation and multiple aspect ratios, we incorporate regionlets into an end-to-end trainable deep learning framework. The deep regionlets framework consists of a region selection network and a deep regionlet learning module. Specifically, given a detection bounding box proposal, the region selection network provides guidance on where to select regions to learn the features from. The regionlet learning module focuses on local feature selection and transformation to alleviate local variations. To this end, we first realize non-rectangular region selection within the detection framework to accommodate variations in object appearance. Moreover, we design a "gating network" within the regionlet leaning module to enable soft regionlet selection and pooling. The Deep Regionlets framework is trained end-to-end without additional efforts. We perform ablation studies and conduct extensive experiments on the PASCAL VOC and Microsoft COCO datasets. The proposed framework outperforms state-of-the-art algorithms, such as RetinaNet and Mask R-CNN, even without additional segmentation labels.

研究の動機と目的

• ディープニューラルネットワークと従来のリージョンレットベース検出を統合し、汎用的オブジェクト検出を向上させること。
• 従来手法における固定長方形領域と硬直的なリージョンレット構造の限界を解消すること。
• 学習可能な非長方形領域選択と適応的リージョンレットプーリングを用いたエンドツーエンド学習を可能とすること。
• 空間変換とソフトゲーティングを用いて、オブジェクトの変形、スケール、アスペクト比の変動に対するロバスト性を向上させること。
• インスタンスセグメンテーションアノテーションを必要とせず、最先端の検出精度を達成すること。

提案手法

• リージョンプロポーザルネットワーク（RPN）の出力内において、非長方形領域選択を実行する領域選択ネットワーク（RSN）を導入し、オブジェクト形状の変動をよりよく捉える。
• ディープリージョンレット学習モジュールは、空間変換を用いて選択領域からの特徴を抽出し、ゲーティングネットワークを用いてソフトリージョンレットプーリングを実行する。
• ゲーティングネットワークにより、微分可能で注視に似たリージョンレット選択が可能となり、モデルが最も判別力のある部分に注目できる。
• 入力画像と真値バウンディングボックスのみを用いて、追加の教師信号なしに、全フレームワークをエンドツーエンドで訓練可能である。
• この手法は変形可能なRoIプーリングを一般化し、特徴学習のための柔軟なリージョンレット構成をサポートする。
• 公平な比較のため、バックボーンネットワークとしてResNet-101を採用した。

実験結果

リサーチクエスチョン

• RQ1 非長方形領域選択は、ディープオブジェクト検出器における変形しやすいオブジェクトの特徴表現を向上させることができるか？
• RQ2 ソフトプーリングを用いた学習可能なリージョンレットは、固定またはハードなリージョンレット選択よりも検出精度で優れているか？
• RQ3 エンドツーエンドのディープラーニングフレームワークにリージョンレットベースモデリングを統合することで、標準的な検出器よりも優れた性能が得られるか？
• RQ4 本手法はインスタンスセグメンテーションラベルを一切使用せずに最先端の結果を達成できるか？
• RQ5 D-F-RCNNのような可変畳み込みベースの手法と比較して、本フレームワークはどのように差をつけるか？

主な発見

• PASCAL VOC 2012テストでは、DP-FCNを含むすべての競合手法を上回り、mAPが85.7%を記録した。
• MS COCO 2017テストデブでは、43.4%のmAPを達成し、Faster R-CNN（+8.5%）、R-FCN（+8.5%）、D-F-RCNN/D-R-FCN（+4.0%）を上回った。
• セグメンテーションラベルやマルチスケール学習を一切使用しないにもかかわらず、Mask R-CNNを1.1%のmAP上回った。
• Focal Lossとマルチスケール学習を用いたRetinaNetですら、本手法は同等の性能を発揮した。
• アブレーションスタディにより、非長方形領域選択とゲーティングネットワークが検出精度を顕著に向上させていることが確認された。
• フレームワークは完全にエンドツーエンドで訓練可能であり、変形可能なRoIプーリングを一般化しており、オブジェクト検出における特徴学習への広範な適用可能性を示唆している。