[論文レビュー] DeePM: A Deep Part-Based Model for Object Detection and Semantic Part Localization

Jun Zhu, Xianjie Chen+1 more|arXiv (Cornell University)|Nov 23, 2015

Advanced Neural Network Applications参考文献 27被引用数 19

ひとこと要約

本稿では、Faster R-CNNに基づく潜在的グラフィカルモデルを用いて、オブジェクト検出とセマンティックパーツの局所化を同時に実行する深層部品ベースモデルDeePMを提案する。柔軟なタイプ共有と幾何制約を用いて明示的なオブジェクト-パーツ構成を学習することで、DeePMはOP R-CNNおよび最先端のR-CNNよりもオブジェクト検出およびパーツ検出の両面で優れた性能を発揮し、特にパーツ局所化において顕著な向上を示す。また、統合検出性能を評価するための新規な'(1+k)' AP評価指標を導入している。

ABSTRACT

In this paper, we propose a deep part-based model (DeePM) for symbiotic object detection and semantic part localization. For this purpose, we annotate semantic parts for all 20 object categories on the PASCAL VOC 2012 dataset, which provides information on object pose, occlusion, viewpoint and functionality. DeePM is a latent graphical model based on the state-of-the-art R-CNN framework, which learns an explicit representation of the object-part configuration with flexible type sharing (e.g., a sideview horse head can be shared by a fully-visible sideview horse and a highly truncated sideview horse with head and neck only). For comparison, we also present an end-to-end Object-Part (OP) R-CNN which learns an implicit feature representation for jointly mapping an image ROI to the object and part bounding boxes. We evaluate the proposed methods for both the object and part detection performance on PASCAL VOC 2012, and show that DeePM consistently outperforms OP R-CNN in detecting objects and parts. In addition, it obtains superior performance to Fast and Faster R-CNNs in object detection.

研究の動機と目的

• オブジェクトとその構成パーツを同時に検出することにより、相互に補完的なオブジェクト検出とセマンティックパーツ局所化を実現すること。
• 従来の手法がオブジェクト検出とパーツ検出を別々に処理していること、または細粒度のパーツアノテーションを欠いているという限界を是正すること。
• 幾何的制約および共起制約を組み合わせたオブジェクト-パーツ構成をモデル化する統一フレームワークを構築し、検出性能を向上させること。
• オブジェクトとパーツの統合検出性能に特化した新規な評価指標'(1+k) AP'を導入すること。
• ポーズ、オクルージョン、視点、機能性を含む、PASCAL VOC 2012のすべての20オブジェクトカテゴリに対して包括的なセマンティックパーツアノテーションを提供すること。

提案手法

• DeePMは2ストリームの深層畳み込みニューラルネットワークアーキテクチャを採用：1つのストリームはオブジェクト検出、もう1つのストリームはパーツ検出で、初期の畳み込み層を共有する。
• 各ストリームは、エンドツーエンド学習の形でオブジェクトまたはパーツの候補領域を生成する領域提案ネットワーク（RPN）を統合する。
• 潜在的グラフィカルモデルは、深層外観特徴とオブジェクトとそのパーツ間の幾何的および共起的制約を統合する。
• パーツタイプは教師なしクラスタリングにより学習され、柔軟なタイプ共有（例：側面視の馬の頭は、異なる馬の視点間で共有可能）を実現する。
• オブジェクトクラスおよびパーツクラスの両方における分類とバウンディングボックス回帰を同時に最適化するマルチタスク損失関数を採用する。
• グラフィカルモデルは、オブジェクトに対するパーツの空間的配置を明示的にモデル化することで、オクルージョンや切断があっても局所化精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 明示的なグラフィカルモデリングを用いた深層部品ベースモデルは、統合的オブジェクト-パーツ検出において、エンドツーエンドの深層学習ベースラインを上回ることができるか？
• RQ2 柔軟なパーツタイプ共有は、変化するオブジェクトのポーズ、視点、オクルージョンレベルにおいて、一般化性能をどのように向上させるか？
• RQ3 幾何的および共起的制約は、複雑な状況下でのパーツ局所化性能をどの程度向上させるか？
• RQ4 提案された'(1+k) AP'評価指標は、標準的なPASCAL VOC mAPと比較して、統合的オブジェクト-パーツ検出の難易度をどのようにより適切に反映するか？
• RQ5 共有特徴と構造的モデリングを統合した統一フレームワークは、小さな部分や極度にオクルージョンされた部分の検出性能を向上させられるか？

主な発見

• DeePMは、OP R-CNNと比較してパーツ検出の平均平均精度（mAP）で2.9%高い性能を達成し、細粒度のセマンティックパーツの局所化において顕著な向上を示した。
• オブジェクト検出においても、Fast R-CNNおよびFaster R-CNNを上回った。これは、明示的なパーツモデリングが全体の検出性能を向上させることを示している。
• 提案された'(1+k) AP'指標は、k > 0の条件下でDeePMがOP R-CNNを常に上回ることを示しており、統合検出タスクにおける優位性を裏付けた。
• DeePMは、単一タイプのDPMベースラインと比較して、自転車、ボート、馬、ソファーの4つのオブジェクトクラスで顕著に優れた性能を示した。これは、タイプ固有の幾何的および共起的ヒントの価値を実証している。
• 極めて小さな（XS）および大きな（XL）オブジェクト／パーツでは性能が急激に低下し、顕著に切断またはオクルージョンされたインスタンスの検出における課題を浮き彫りにした。
• 可視化結果から、構造的なグラフィカルモデルのおかげで、DeePMは部分的オクルージョンや非正面視においても、効果的にパーツを局所化できていることが確認された。