[論文レビュー] Learning Chained Deep Features and Classifiers for Cascade in Object Detection

Wanli Ouyang, Ku Wang+2 more|arXiv (Cornell University)|Feb 23, 2017

Advanced Image and Video Retrieval Techniques参考文献 26被引用数 20

ひとこと要約

本論文は、分類器と特徴量のチェーン化を用いて段階的分類器と特徴量を同時に学習する、エンドツーエンドのディーブラーニングフレームワークであるChained Cascade Network (CC-Net)を提案する。以前の段階の分類スコアと特徴量を事前知識として活用することで、オブジェクト検出の精度と効率を向上させ、PASCAL VOC 2007で81.1%のmAPという最先端の結果を達成した。

ABSTRACT

Cascade is a widely used approach that rejects obvious negative samples at early stages for learning better classifier and faster inference. This paper presents chained cascade network (CC-Net). In this CC-Net, the cascaded classifier at a stage is aided by the classification scores in previous stages. Feature chaining is further proposed so that the feature learning for the current cascade stage uses the features in previous stages as the prior information. The chained ConvNet features and classifiers of multiple stages are jointly learned in an end-to-end network. In this way, features and classifiers at latter stages handle more difficult samples with the help of features and classifiers in previous stages. It yields consistent boost in detection performance on benchmarks like PASCAL VOC 2007 and ImageNet. Combined with better region proposal, CC-Net leads to state-of-the-art result of 81.1% mAP on PASCAL VOC 2007.

研究の動機と目的

• エンドツーエンドのディープネットワークを用いて、段階的学習を改善することで、オブジェクト検出における前景と背景のサンプルの不均衡を是正すること。
• 従来のカスケードでは、初期段階の分類スコアと特徴量を破棄するという制限を克服すること。
• 前の段階からの事前知識を活用して、カスケード段階全体で分類器と特徴量の学習を統合的に最適化すること。
• 統合的なディープネットワーク内で分類器チェーン化と特徴量チェーン化を導入することで、検出性能を向上させること。

提案手法

• 分類器チェーン化を導入し、前のカスケード段階の分類スコアを、現在の段階の分類器の事前知識として活用する。
• 特徴量チェーン化を提案し、初期段階の特徴量が後の段階での特徴量学習をガイドすることで、補完的視覚的手がかりに焦点を当てる。
• 共有損失関数を用いて、段階的分類器とチェーン化された特徴量を同時に学習する1つのエンドツーエンドConvNetを設計する。
• 特徴量とスコアの融合を制御するための学習可能なスケーリングベクトルaとbを採用し、ロバストネスと性能を向上させる。
• マルチコンテキストおよびマルチリソリューション特徴量を入力とし、グローバルプーリング特徴量を基本表現とする。
• オンラインハードエクサムマイニング (OHEM) とリージョンプロポーザル (例：Craft+) を適用し、トレーニング効率とリCALLを向上させる。

実験結果

リサーチクエスチョン

• RQ1 前の段階の信頼度スコアが後の段階の意思決定に影響を与える分類器チェーン化が、ディープカスケードネットワークにおける検出精度を向上させるか？
• RQ2 初期段階の特徴量を事前知識として活用する特徴量チェーン化が、後の段階での特徴量学習を向上させるか？
• RQ3 チェーン化された分類器と特徴量を統合的にエンドツーエンドでトレーニングすることで、従来のカスケード型または非チェーン型アプローチを上回る性能が得られるか？
• RQ4 1つのディープネットワーク内で分類器チェーン化と特徴量チェーン化を組み合わせることで、どの程度の性能向上が達成されるか？
• RQ5 学習可能なスケーリングベクトルとアーキテクチャ設計の選択が、mAPおよび検出のロバストネスに与える影響は何か？

主な発見

• CC-NetはPASCAL VOC 2007で81.1%のmAPを達成し、そのベンチマークにおける新たな最先端の結果を樹立した。
• 分類器チェーン化のみを適用した場合、4つのカスケード段階を用いた際、ベースラインのBN-Inceptionに比べてmAPが1.5%向上した。
• 分類器チェーン化と特徴量チェーン化を組み合わせた場合、ImageNet上では非チェーン型ベースラインに比べてmAPが3.2%向上した。
• CC-Netから分類器チェーン化を削除すると、mAPが0.8%低下し、その有効性が示された。
• 学習可能なスケーリングベクトルaとbは顕著な貢献を示しており、それらを1.0に固定した場合、mAPが1.7%低下した。
• CC-Netに1画像あたり300個のリージョンプロポーザル (Craft+ 由) を使用することで、より多くのプロポーザルを必要とせずに高い性能が達成された。