[論文レビュー] Point Linking Network for Object Detection

Xinggang Wang, Kaibing Chen+3 more|arXiv (Cornell University)|Jun 12, 2017

Advanced Neural Network Applications参考文献 3被引用数 25

ひとこと要約

本論文は、深く完全畳み込みネットワークを通じてリンクされた学習可能な中心点とコーナー点によってオブジェクトを表現する、新しいオブジェクト検出フレームワーク「ポイントリンキングネットワーク（PLN）」を提案する。キーポイントの回帰とそれらの関連付けをエンドツーエンドで行うことで、データ拡張なしにPASCAL VOC 2007/2012およびCOCOベンチマークで最先端の単一モデル性能を達成し、遮蔽、スケール、アスペクト比の変動に対して高いロバスト性を示した。

ABSTRACT

Object detection is a core problem in computer vision. With the development of deep ConvNets, the performance of object detectors has been dramatically improved. The deep ConvNets based object detectors mainly focus on regressing the coordinates of bounding box, e.g., Faster-R-CNN, YOLO and SSD. Different from these methods that considering bounding box as a whole, we propose a novel object bounding box representation using points and links and implemented using deep ConvNets, termed as Point Linking Network (PLN). Specifically, we regress the corner/center points of bounding-box and their links using a fully convolutional network; then we map the corner points and their links back to multiple bounding boxes; finally an object detection result is obtained by fusing the multiple bounding boxes. PLN is naturally robust to object occlusion and flexible to object scale variation and aspect ratio variation. In the experiments, PLN with the Inception-v2 model achieves state-of-the-art single-model and single-scale results on the PASCAL VOC 2007, the PASCAL VOC 2012 and the COCO detection benchmarks without bells and whistles. The source code will be released.

研究の動機と目的

• スケール、アスペクト比、遮蔽への感受性に関する従来のディーブラーニングベースのオブジェクト検出器の限界を解消すること。
• バウンディングボックスレギュレーションの硬直的枠組みを覆し、オブジェクト表現をポイントペアとして再考すること。
• ポイント検出とポイントリンクの両方を統合的に最適化するエンドツーエンド学習が可能な統一されたディープラーニングフレームワークを開発すること。
• データ拡張なしに単一モデル・単一スケールで最先端の検出性能を達成すること。
• People-Artなど、標準ベンチマークとは異なる視覚的スタイルを有するドメイン外データセットにおいても一般化能力を示すこと。

提案手法

• 各オブジェクトを1つの中心点と1つのコーナーポイント（例：左上、右下）からなるポイントペアとして表現する。
• 各特徴マップグリッドに対して、中心点およびコーナーポイントの信頼度、オフセット、リンクスコアを予測するための完全畳み込みネットワークを用いる。
• ポイント検出とポイントリンクの両方を同時に最適化するための統合損失関数を用いてネットワークを訓練する。
• 予測されたポイントペアから候補バウンディングボックスを再構築し、非最大抑制を適用して最終的な検出結果を生成する。
• 異なるコーナー-中心ペアから得られる複数のバウンディングボックスを統合することで、ロバスト性を向上させ、誤検出を低減する。
• 1オブジェクトあたり最大4つのポイントペアを活用し、投票ベースの精練を実現することで、検出の信頼性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 従来のバウンディングボックスレギュレーションと比較して、ポイントベースのオブジェクトバウンディングボックス表現は、遮蔽およびスケール／アスペクト比の変動に対するロバスト性を向上させることができるか？
• RQ2 ポイント検出とリンクのエンドツーエンド学習は、標準ベンチマークにおける一般化性能と検出性能を向上させるか？
• RQ3 ポイント検出とリンクの統合損失関数で学習された単一のディープネットワークは、データ拡張なしにFaster R-CNN、YOLO、SSDなどの既存の検出器を上回る性能を発揮できるか？
• RQ4 本手法は、People-Artのような視覚的スタイルが著しく異なるドメイン外データセットに対しても、どれほど良好に一般化できるか？
• RQ5 複数のコーナー-中心ペアにわたる投票メカニズムは、検出精度とロバスト性をどの程度向上させるか？

主な発見

• Inception-v2を用いたPLNは、データ拡張なしにPASCAL VOC 2007および2012で単一モデル・単一スケールのmAPにおいて最先端の性能を達成した。
• COCO test-dev2015において、PLN512は28.9%のmAP@[0.5:0.95]と48.3%のmAP@0.5を達成し、同じ設定下でYOLOv2、SSD512、ION、Faster R-CNNを上回った。
• マルチスケール予測を用いずとも、PLN512はmAP@0.5およびmAP@[0.5:0.95]の両方でSSD512を上回り、提案された損失関数と表現法の有効性を示した。
• 複数のコーナー-中心ペアからの検出結果の統合は、遮蔽に対するロバスト性の向上を顕著に示しており、定性的な比較でも明確に確認された。
• PLNはPeople-Artデータセットに対しても良好に一般化し、47%のAPを達成した。これはYOLO（45%）とR-CNN（26%）を上回り、強力なドメイン一般化能力を示した。
• スケール変動や部分的遮蔽といった困難な状況においても、多様なオブジェクトカテゴリにわたり高い性能を維持した。