[論文レビュー] Learning Complexity-Aware Cascades for Deep Pedestrian Detection

Zhaowei Cai, Mohammad Saberian+1 more|arXiv (Cornell University)|Jul 19, 2015

Video Surveillance and Tracking Methods参考文献 34被引用数 56

ひとこと要約

この論文では、分類精度と計算複雑度のラグランジュ的トレードオフを最適化することで、複雑度に配慮した段階的検出器を学習するブースティング手法CompACTを提案する。高複雑度の特徴量（例：深層畳み込みニューラルネットワーク）を段階的検出器の後段に配置することで、多様な特徴量のシームレスな統合を可能にし、CaltechおよびKITTIで高速な速度を維持しながら、最先端の歩行者検出性能を達成する。

ABSTRACT

The design of complexity-aware cascaded detectors, combining features of very different complexities, is considered. A new cascade design procedure is introduced, by formulating cascade learning as the Lagrangian optimization of a risk that accounts for both accuracy and complexity. A boosting algorithm, denoted as complexity aware cascade training (CompACT), is then derived to solve this optimization. CompACT cascades are shown to seek an optimal trade-off between accuracy and complexity by pushing features of higher complexity to the later cascade stages, where only a few difficult candidate patches remain to be classified. This enables the use of features of vastly different complexities in a single detector. In result, the feature pool can be expanded to features previously impractical for cascade design, such as the responses of a deep convolutional neural network (CNN). This is demonstrated through the design of a pedestrian detector with a pool of features whose complexities span orders of magnitude. The resulting cascade generalizes the combination of a CNN with an object proposal mechanism: rather than a pre-processing stage, CompACT cascades seamlessly integrate CNNs in their stages. This enables state of the art performance on the Caltech and KITTI datasets, at fairly fast speeds.

研究の動機と目的

• 高複雑度のディープラーニング特徴量を段階的検出器に統合する課題に対処すること。通常、段階的検出器は低複雑度特徴量に限定されている。
• 特徴量の複雑度が均一であると仮定する従来の段階的設計の限界を克服し、精度と複雑度のトレードオフを明示的に最適化すること。
• 手作業で設計された特徴量とディープニューラルネットワークを、1つの段階的アーキテクチャ内でシームレスに統合する統一されたフレームワークを開発すること。
• CompACTが、高い推論速度を維持しながら、最先端の歩行者検出性能を達成できることを示すこと。

提案手法

• 分類リスクと複雑度リスクの両方を同時に最小化するラグランジュ最適化問題として段階的学習を定式化する。
• 特徴量の計算コストを定量化するための複雑度指標を導入し、精度と速度の明示的トレードオフ制御を可能にする。
• ラグランジュ目的関数を最も効果的に低減する特徴量を段階的に選択することで、ブースティング手法CompACTを導出する。
• 高複雑度の特徴量（例：深層畳み込みニューラルネットワーク）を、分類すべき残りの難易度の高いサンプルがわずかに残る後段の段階に配置する。
• ハールウェーブレットや深層畳み込みニューラルネットワークなど、著しく異なる複雑度を持つ特徴量を、1つの段階的検出器に統合可能であることを支援する。
• 最終段階が深層畳み込みニューラルネットワークであるハイブリッドアーキテクチャを採用し、NMSの直後または段階的フロー内に統合可能である。

実験結果

リサーチクエスチョン

• RQ1 特徴量の複雑度が著しく異なる状況下でも、段階的検出器を、検出精度と計算複雑度の明示的バランスをとるように学習可能か？
• RQ2 別個のオブジェクト候補段階を必要とせずに、畳み込みニューラルネットワークを段階的検出器に効果的に統合可能か？
• RQ3 複雑度に配慮した段階的設計は、従来の2段階アプローチ（例：候補生成 + CNN）に比べ、精度と速度の両面で優れるか？
• RQ4 提案手法は、リアルタイムの推論速度を維持しながら、最先端の歩行者検出性能を達成可能か？

主な発見

• CompACTはCaltech歩行者検出ベンチマークで最先端の性能を達成し、過去の手法に比べて平均平均精度（mAP）で最大11ポイントの向上を達成した。
• 最終段階にVGGベースのCNNを埋め込んだCompACT-Deep段階的検出器は、KITTIの「easy」スプリットで70.69%のmAPを達成し、前回の最先端手法を8ポイント以上上回った。
• 深層畳み込みニューラルネットワークを採用しているにもかかわらず、KITTIでは1枚あたり1秒の推論速度を達成し、R-CNN や FilteredICF を含む競合手法よりも顕著に高速だった。
• 小さなCNNを搭載したCompACT段階的検出器は、KITTIの「easy」スプリットで65.35%のmAPを達成し、pAUCEnsT や FilteredICF を上回ったが、はるかに高速だった。
• NMSの直前（段階的フロー内）にCNNを埋め込むと、NMS直後への適用よりも高い精度を達成したが、計算量は約10倍削減された。
• オブジェクト候補 + CNNのパラダイムを一般化し、CNNを段階的フローにエンドツーエンド統合可能にすることで、別個の候補生成段階の必要性を排除した。