[論文レビュー] ME R-CNN: Multi-Expert Region-based CNN for Object Detection.

Hyungtae Lee, Sungmin Eum+1 more|arXiv (Cornell University)|Apr 4, 2017

Advanced Neural Network Applications被引用数 17

ひとこと要約

ME R-CNN は、水平に延長された、正方形に近い、垂直に延長された物体の3つの専門的エキスパートを用いた、オブジェクト検出のためのマルチエキスパート領域ベースの畳み込みニューラルネットワークを提案する。共有畳み込みバックボーンと、網羅的探索による拡張トレーニングを活用することで、形状固有の事前知識と外観の変動を捉えることで、検出精度を向上させる。

ABSTRACT

Recent CNN-based object detection methods have drastically improved their performances but still use a single classifier as opposed to in categorizing objects. The main motivation of introducing multi-experts is twofold: i) to allow different experts to specialize in different fundamental object shape priors and ii) to better capture the appearance variations caused by different poses and viewing angles. The proposed approach, referred to as multi-expert Region-based CNN (ME R-CNN), consists of three experts each responsible for objects with particular shapes: horizontally elongated, square-like, and vertically elongated. Each expert is a network with multiple fully connected layers and all the experts are preceded by a shared network which consists of multiple convolutional layers. On top of using selective search which provides a compact, yet effective set of region of interests (RoIs) for object detection, we augmented the set by also employing the exhaustive search for training. Incorporating the exhaustive search can provide complementary advantages: i) it captures the multitude of neighboring RoIs missed by the selective search, and thus ii) provide significantly larger amount of training examples to achieve the enhanced accuracy.

研究の動機と目的

• 単一の分類器によるオブジェクト検出器の、多様なオブジェクト形状や外観の変動への対応の限界を解消すること。
• 水平に延長された、正方形に近い、垂直に延長された物体という、異なる形状事前知識に特化したエキスパートを導入することで、検出性能を向上させること。
• 選択的探索と網羅的探索を組み合わせることで、領域提案生成のためのトレーニングデータの多様性とカバー範囲を向上させること。

提案手法

• モデルは、領域提案からの特徴抽出に共有畳み込みネットワークを用い、その後に3つの専用エキスパートを配置し、それぞれが特定の形状カテゴリに特化している。
• 各エキスパートネットワークは、形状固有の特徴に基づいて物体を分類する複数の全結合層から構成される。
• 選択的探索を用いて初期の領域提案を生成し、網羅的探索を追加することで、周辺の追加領域を捉える。
• 網羅的探索により、選択的探索が見逃した領域を含む補完的なトレーニング例が得られ、トレーニングデータの多様性が向上する。
• マルチエキスパート設計により、専門性が発揮され、モデルの異なるオブジェクトポーズや視点からの一般化能力が向上する。
• すべてのエキスパートと共有バックボーンを統合的に最適化するエンド・ツー・エンドのトレーニングが実施される。

実験結果

リサーチクエスチョン

• RQ1 異なるオブジェクト形状事前知識に特化したエキスパートを導入することで、単一の統合分類器と比較して、オブジェクト検出性能が向上するか？
• RQ2 領域提案生成のための選択的探索と網羅的探索の組み合わせが、検出精度とトレーニングデータのカバー範囲に与える影響は何か？
• RQ3 形状に特化したエキスパートは、異なるアスペクト比やポーズを持つ物体の検出誤りをどの程度低減するか？

主な発見

• マルチエキスパート設計により、異なるオブジェクト形状に特化した処理が可能になり、検出精度が顕著に向上した。
• 選択的探索に加えて網羅的探索を組み込むことで、トレーニング例の数が増加し、モデルの一般化能力が向上した。
• 形状固有の特徴学習のおかげで、困難なポーズや視点からのオブジェクト検出において、より優れた性能を達成した。
• 形状に特化したエキスパートと拡張された領域提案の組み合わせにより、単一エキスパートベースラインと比較して、検出mAPが向上した。