[論文レビュー] Deep Regionlets: Blended Representation and Deep Learning for Generic Object Detection

Hongyu Xu, Xutao Lv+4 more|arXiv (Cornell University)|Nov 28, 2018

Advanced Neural Network Applications参考文献 76被引用数 5

ひとこと要約

本論文では、深層学習アーキテクチャ内に領域選択ネットワークとゲーティングネットワークを統合した、非長方形領域選択と学習可能な特徴プーリングを組み合わせた、新たなオブジェクト検出フレームワーク「Deep Regionlets」を提案する。この手法は、セグメンテーションアノテーションを必要とせず、エンド・トゥ・エンド学習により外観の変化や変形に対してより高いロバスト性を示し、PASCAL VOCおよびCOCOベンチマークで最先端の性能を達成した。

ABSTRACT

In this paper, we propose a novel object detection algorithm named "Deep Regionlets" by integrating deep neural networks and a conventional detection schema for accurate generic object detection. Motivated by the effectiveness of regionlets for modeling object deformations and multiple aspect ratios, we incorporate regionlets into an end-to-end trainable deep learning framework. The deep regionlets framework consists of a region selection network and a deep regionlet learning module. Specifically, given a detection bounding box proposal, the region selection network provides guidance on where to select sub-regions from which features can be learned from. An object proposal typically contains 3-16 sub-regions. The regionlet learning module focuses on local feature selection and transformations to alleviate the effects of appearance variations. To this end, we first realize non-rectangular region selection within the detection framework to accommodate variations in object appearance. Moreover, we design a "gating network" within the regionlet leaning module to enable instance dependent soft feature selection and pooling. The Deep Regionlets framework is trained end-to-end without additional efforts. We present ablation studies and extensive experiments on the PASCAL VOC dataset and the Microsoft COCO dataset. The proposed method yields competitive performance over state-of-the-art algorithms, such as RetinaNet and Mask R-CNN, even without additional segmentation labels.

研究の動機と目的

• 汎用オブジェクト検出におけるオブジェクトの変形および外観変化のモデル化の課題に取り組む。
• 従来の領域レットベース検出と深層学習の間のギャップを埋め、エンド・トゥ・エンド学習を可能にする。
• 複数のアスペクト比およびサブカテゴリの変化を示すオブジェクトの特徴表現を向上させる。
• 手作業による特徴の依存を減らし、エンド・トゥ・エンドで空間的および特徴変換を学習する。
• 追加のセグメンテーションラベルなしで、競争力ある検出精度を達成する。

提案手法

• フレームワークは、オブジェクトプロポーザルバウンディングボックス内での非長方形領域選択を実行する領域選択ネットワーク（RSN）から構成される。
• ディープ・リージョンレット学習モジュールは、選択された部分領域からの特徴をあらゆる方向に整列させるために空間変換ネットワークを用いる。
• ゲーティングネットワークにより、インスタンス依存のソフト特徴選択およびプーリングが可能になる。
• システム全体がエンド・トゥ・エンドで学習され、領域選択および特徴学習の各コンponentsを経由して勾配が逆伝播される。
• 変形可能な部分をモデル化するために、1オブジェクトプロポーザルあたり3〜16個の部分領域を用いた階層的特徴表現を活用する。
• 空間変換は微分可能であり、射影変換パラメータを経由した逆伝播が可能になる。

実験結果

リサーチクエスチョン

• RQ1 非長方形領域選択は、外観変化および変形に伴う特徴表現の向上に寄与するか？
• RQ2 領域レット用の学習可能なゲーティング機構は、深層検出ネットワークにおける固定プーリング戦略を上回る性能を示すか？
• RQ3 セグメンテーションアノテーションなしで、領域レットを深層学習フレームワークに統合した場合、標準のR-CNNやRetinaNetベースラインを上回る性能を発揮するか？
• RQ4 領域レットベースのアプローチは、多様なオブジェクトカテゴリおよびアスペクト比を含む汎用検出タスクに一般化可能か？
• RQ5 領域選択と特徴学習のエンド・トゥ・エンド学習は、検出精度およびロバスト性にどのように影響を与えるか？

主な発見

• 提案されたDeep Regionletsフレームワークは、セグメンテーションラベルなしで、RetinaNet や Mask R-CNN よりも優れた性能をPASCAL VOCデータセットで達成した。
• Microsoft COCOデータセットでは、複雑な現実世界の条件下でも強力な検出精度を示し、汎用オブジェクト検出における有効性を確認した。
• アブレーションスタディの結果、非長方形領域選択とゲーティングネットワークの両方が性能向上に顕著な寄与をしていることが確認された。
• Faster R-CNNに比べてパラメータ数が約6360万個増加したが、性能向上を考慮すると、これはわずかな増加と見なせる。
• エンド・トゥ・エンド学習スキームにより、領域選択と特徴学習の共同最適化が可能になり、特徴の識別性と局所化精度が向上した。
• オブジェクトプロポーザル内での柔軟な部分領域表現を学習することで、オブジェクトの変形および複数のアスペクト比を効果的にモデル化できた。