[論文レビュー] Object Detection based on Region Decomposition and Assembly

Seung‐Hwan Bae|arXiv (Cornell University)|Jan 24, 2019

Advanced Neural Network Applications参考文献 14被引用数 4

ひとこと要約

本稿では、物体領域をより小さな部分に分解し、学習可能な領域アセンブリブロックを用いてグローバル特徴とパーツレベル特徴を統合することで、物体検出性能を向上させるリージョン分解・アセンブリ検出器（R-DAD）を提案する。本手法は、データ拡張や特徴ピラミッド、マルチスケールテストに依存せずに、PASCAL VOC07で81.2%、PASCAL VOC12で82.0%、MSCOCO18で43.1%のSOTA mAPを達成した。

ABSTRACT

Region-based object detection infers object regions for one or more categories in an image. Due to the recent advances in deep learning and region proposal methods, object detectors based on convolutional neural networks (CNNs) have been flourishing and provided the promising detection results. However, the detection accuracy is degraded often because of the low discriminability of object CNN features caused by occlusions and inaccurate region proposals. In this paper, we therefore propose a region decomposition and assembly detector (R-DAD) for more accurate object detection. In the proposed R-DAD, we first decompose an object region into multiple small regions. To capture an entire appearance and part details of the object jointly, we extract CNN features within the whole object region and decomposed regions. We then learn the semantic relations between the object and its parts by combining the multi-region features stage by stage with region assembly blocks, and use the combined and high-level semantic features for the object classification and localization. In addition, for more accurate region proposals, we propose a multi-scale proposal layer that can generate object proposals of various scales. We integrate the R-DAD into several feature extractors, and prove the distinct performance improvement on PASCAL07/12 and MSCOCO18 compared to the recent convolutional detectors.

研究の動機と目的

• CNNベースの検出器におけるオクルージョンや不正確なリージョンプロポーザルによる検出精度の低下を解消すること。
• グローバルな物体の外観とローカルなパーツの詳細を同時にモデル化することで、特徴の識別能を向上させること。
• 画像ピラミッドを高価に用いずに、リサイズ可能なマルチスケールプロポーザルレイヤーを用いてリージョンプロポーザルの正確性を向上させること。
• オクルージョンパターンに応じて、グローバル特徴とパーツ特徴を適応的に統合する学習可能な特徴統合メカニズムを開発すること。
• データ拡張、マルチスケールテスト、モデルアンサンブルといった外部の改善策に依存せずに、SOTA性能を達成すること。

提案手法

• 異なるスケーリング係数を用いてRPNからのリージョンプロポーザルを再スケーリングするマルチスケールリージョンプロポーザルレイヤーを提案する。
• クラスの不均衡を解消するために、比率に基づいたバランス調整を用いたリージョンサンプリングを適用する。
• 各物体リージョンを複数の小さなサブリージョンに分解し、細粒度のパーツレベル特徴を捉える。
• 全体的でないが、物体リージョン全体とその分解されたサブリージョンからCNN特徴を抽出し、包括的でパーツレベルの表現を実現する。
• 最大応答の段階的集約を通じて、パーツ特徴とグローバル特徴間の意味的関係を学習するリージョンアセンブリブロック（RABs）を導入する。
• RABを用いてグローバル特徴とパーツ特徴を統合し、分類および局所化に適した高レベルの識別的特徴を生成する。

実験結果

リサーチクエスチョン

• RQ1 画像ピラミッドや特徴ピラミッドを用いずに、マルチスケールリージョンプロポーザルが検出精度を向上させられるか？
• RQ2 グローバル特徴とパーツ特徴を同時にモデル化することで、オクルージョンや小さな物体の検出における特徴の識別能が向上するか？
• RQ3 学習可能な特徴統合メカニズム（RAB）が、オクルージョン状態において信頼性の高い特徴を適応的に重み付けできるか？
• RQ4 提案されたR-DADは、データ拡張やマルチスケールテスト、モデルアンサンブルに依存せずにSOTA性能を達成できるか？
• RQ5 R-DADフレームワークは、異なるバックボーンネットワークや検出アーキテクチャに対してどれほど頑健であるか？

主な発見

• R-DADはPASCAL VOC07でmAP 81.2%、PASCAL VOC12でmAP 82.0%を達成し、追加の装飾なしに従来手法を上回った。
• MSCOCO18ではResNet-101を用いてmAP 43.1%を達成し、公式test-devリーダーボードで高い順位を記録した。
• マルチスケールテストを適用したR-DAD-v2は、ResNet-101を用いてMSCOCO18でmAP 44.9%を達成し、過酷な設定下でも優れた性能を示した。
• アブレーションスタディの結果、マルチスケールプロポーザルレイヤーとRABベースの特徴統合が性能向上に顕著な寄与をしていることが確認された。
• 可視化比較では、R-DADが誤検出を低減し、特にオクルージョンされた物体に対して局所化精度を向上させた。
• 本手法は、複数の特徴抽出器（ResNet-50、ResNet-101）や検出フレームワークにおいても性能を向上させるという点で、頑健で汎用性があることが示された。