[論文レビュー] Effective Pedestrian Detection Using Center-symmetric Local Binary/Trinary Patterns

Yongbin Zheng, Chunhua Shen+2 more|arXiv (Cornell University)|Sep 5, 2010

Video Surveillance and Tracking Methods参考文献 33被引用数 26

ひとこと要約

本稿では、勾配および顕著なテクスチャ情報を活用して、計算コストが低く高性能を達成する、密なおよびピラミッド型の中心対称的局所バイナリ／トリナリーパターン（CS-LBP／LTP）を提案する。INRIAデータセットにおいて、ヒストグラムインターセクションカーネルSVMを用いたピラミッド型CS-LTP特徴量は、HOGおよびPHOGのベースラインを上回り、PHOGと組み合わせることで最先端の精度を達成する。

ABSTRACT

Accurately detecting pedestrians in images plays a critically important role in many computer vision applications. Extraction of effective features is the key to this task. Promising features should be discriminative, robust to various variations and easy to compute. In this work, we present novel features, termed dense center-symmetric local binary patterns (CS-LBP) and pyramid center-symmetric local binary/ternary patterns (CS-LBP/LTP), for pedestrian detection. The standard LBP proposed by Ojala et al. \cite{c4} mainly captures the texture information. The proposed CS-LBP feature, in contrast, captures the gradient information and some texture information. Moreover, the proposed dense CS-LBP and the pyramid CS-LBP/LTP are easy to implement and computationally efficient, which is desirable for real-time applications. Experiments on the INRIA pedestrian dataset show that the dense CS-LBP feature with linear supporct vector machines (SVMs) is comparable with the histograms of oriented gradients (HOG) feature with linear SVMs, and the pyramid CS-LBP/LTP features outperform both HOG features with linear SVMs and the start-of-the-art pyramid HOG (PHOG) feature with the histogram intersection kernel SVMs. We also demonstrate that the combination of our pyramid CS-LBP feature and the PHOG feature could significantly improve the detection performance-producing state-of-the-art accuracy on the INRIA pedestrian dataset.

研究の動機と目的

• 複雑な背景やポーズの変化といった困難な条件下でも、識別性が高く、ロバストで、計算コストが低い特徴量の需要に対応する。
• 標準LBPは過剰に詳細なテクスチャを捉え、歩行者検出に不適切な高次元の記述子を生成するという限界を克服する。
• HOGに類似した特徴量よりも、形状および顕著なテクスチャ情報を、ノイズやごみのある環境でもより効果的に捉える特徴量を開発する。
• 中心対称的LBPおよびLTP特徴量が、HOGおよびPHOGの最先端の特徴量と同等またはそれを上回る性能を達成できることを示し、計算がはるかに高速であることを実証する。
• CS-LBP／LTPとPHOGを組み合わせることで、検出精度をさらに向上させることの有効性を調査する。

提案手法

• HOGに類似した特徴抽出法として、密なCS-LBPを提案。画像のパッチを密なグリッドに分割し、局所的な勾配およびテクスチャ構造を捉える中心対称パターンを計算する。
• 複数の空間スケールで特徴量を計算し、それらを階層的記述子に統合することで、PHOGに類似したマルチスケール特徴量としてのピラミッドCS-LBP／LTPを導入する。
• 中心対称的局所バイナリーパターン（CS-LBP）を用いて、中心ピクセル回りの局所的な強度差を符号化し、勾配に類似した構造に注目することでノイズへの感受性を低減する。
• CS-LBPを、強度差の三段階量子化を用いることで、一様領域におけるロバスト性を向上させる中心対称的局所トリナリーパターン（CS-LTP）に拡張する。
• 密なCS-LBPには線形SVM、ピラミッド特徴量にはヒストグラムインターセクションカーネルSVM（HIKSVM）を適用し、INRIAデータセットにおける性能を評価する。
• ピラミッド一様CS-LBPとPHOG特徴量を、それらのカーネル行列を平均することで統合し、分類性能を向上させる融合カーネルを構築する。

実験結果

リサーチクエスチョン

• RQ1 中心対称的局所バイナリ／トリナリーパターン（CS-LBP／LTP）は、精度と効率の両面で従来のHOGおよびPHOG特徴量を上回る歩行者検出用特徴量として有効であるか？
• RQ2 線形SVMを用いた場合、密なCS-LBPとHOGの両者がINRIA歩行者検出ベンチマークでどのように性能を発揮するか？
• RQ3 HIKSVMを用いた場合、ピラミッドCS-LBP／LTP特徴量は、同じ分類器を用いたPHOGよりも高い検出精度を達成するか？
• RQ4 ピラミッドCS-LBPとPHOGを組み合わせることで、検出性能を顕著に向上させることができ、その向上率はどの程度か？
• RQ5 CS-LBP／LTPの計算複雑度はPHOGと比べてどのように異なり、リアルタイムアプリケーションに適しているか？

主な発見

• 線形SVMを用いた密なCS-LBP特徴量は、INRIAデータセットにおいて線形SVMを用いたHOG特徴量と同等の検出精度を達成する。
• HIKSVMを用いたピラミッド型CS-LTP特徴量は、HIKSVMを用いたPHOG特徴量および線形SVMを用いたHOG特徴量の両方を、INRIAデータセットにおいて上回る。
• ピラミッド一様CS-LBP特徴量はPHOGに比べてわずかに劣るが、依然として線形SVMを用いたHOGベースの検出器を上回る性能を示す。
• ピラミッド一様CS-LBP特徴量とPHOGをカーネル行列の平均化により統合することで、0.25 FPPIで約6%、0.5–1 FPPIで約1.5%の検出精度向上が達成される。
• PHOG + ピラミッド一様CS-LBP検出器は、INRIAデータセットにおいて最先端の性能を達成し、すべてのFPPIレベルで優れた検出率を示す。
• 提案された特徴量は計算が効率的で実装が簡単であり、リアルタイム歩行者検出アプリケーションに適している。