[論文レビュー] Max-Margin Object Detection

Davis E. King|arXiv (Cornell University)|Jan 31, 2015

Advanced Image and Video Retrieval Techniques参考文献 18被引用数 81

ひとこと要約

この論文は、計算制約により部分的な画像ウィンドウのサブサンプリングに依存するのではなく、画像内のすべての可能なスライディングウィンドウ位置を直接最適化することでオブジェクト検出器を学習する凸最適化フレームワークであるMax-Margin Object Detection (MMOD) を紹介する。MMODは、単一の剛体HOGフィルタをMMODで学習するだけで、FDDBベンチマークにおいて複雑な可変部分モデルを大きく上回る最先端の性能を達成する。

ABSTRACT

Most object detection methods operate by applying a binary classifier to sub-windows of an image, followed by a non-maximum suppression step where detections on overlapping sub-windows are removed. Since the number of possible sub-windows in even moderately sized image datasets is extremely large, the classifier is typically learned from only a subset of the windows. This avoids the computational difficulty of dealing with the entire set of sub-windows, however, as we will show in this paper, it leads to sub-optimal detector performance. In particular, the main contribution of this paper is the introduction of a new method, Max-Margin Object Detection (MMOD), for learning to detect objects in images. This method does not perform any sub-sampling, but instead optimizes over all sub-windows. MMOD can be used to improve any object detection method which is linear in the learned parameters, such as HOG or bag-of-visual-word models. Using this approach we show substantial performance gains on three publicly available datasets. Strikingly, we show that a single rigid HOG filter can outperform a state-of-the-art deformable part model on the Face Detection Data Set and Benchmark when the HOG filter is learned via MMOD.

研究の動機と目的

• 計算制約のため、従来のオブジェクト検出手法が部分的な画像ウィンドウのサブセットでのみ学習を行うという、性能が最適でない問題に対処すること。
• 個々のウィンドウの分類精度を最適化する代理指標に依存するのではなく、最終的な検出器の全体的な精度（誤検出と見逃しの最少化）を直接最適化すること。
• 画像内のすべての可能なスライディングウィンドウ位置（部分的に重複するものも含む）を効率的に処理できる凸最適化フレームワークを構築すること。
• 全データ最適化が、HOGのような単純な特徴セットでさえも顕著な性能向上をもたらすことを示すこと。

提案手法

• MMODは、スコア関数 f(x,r) がパラメータ w と特徴 φ(x,r) に関して線形である構造予測問題としてオブジェクト検出を定式化する。
• 非最大抑制（NMS）の出力をもとに、誤検出と見逃しをマージンに基づくアプローチでペナルティ化する損失関数を定義する。
• 最終的な検出器出力（NMS後）を考慮する構造的SVMの定式化を採用し、個々のウィンドウ予測の最適化にとどまらない。
• 部分的に重複するオブジェクトを含むすべてのウィンドウに対して、検出器パラメータを同時に最適化する凸最適化問題を導入する。
• カットプレーン法を用いて双対最適化問題を効率的に解き、サブサンプリングなしにすべてのウィンドウでの学習を可能にする。
• HOG やボックストップワードのBag-of-Visual-Wordsなど、任意の線形検出器に適用可能な汎用的なフレームワークであり、適切な特徴抽出器を組み込むことで適用可能である。

実験結果

リサーチクエスチョン

• RQ1 すべての可能な画像ウィンドウ（サブセットではなく）で学習された検出器は、従来の手法よりも優れた性能を達成できるか？
• RQ2 非最大抑制後の最終的な検出器出力（個々のウィンドウ分類の最適化ではなく）を最適化することで、精度が向上するか？
• RQ3 MMODで学習された単純な剛体HOGフィルタが、複雑な可変部分モデルを上回ることができるか？
• RQ4 通常の学習では破棄されることが多い、オブジェクトと部分的に重複するウィンドウは、MMODがどのように処理するか？

主な発見

• MMODは、INRIA、TU Darmstadtの牛、FDDBの3つの公的ベンチマークで、HOGのような基本的な特徴セットでさえも検出精度を顕著に向上させる。
• FDDBベンチマークでは、MMODで学習された単一の剛体HOGフィルタが、最先端の可変部分モデルを上回り、より高い検出精度を達成する。
• MMODは、標準的手法が効率的に処理できない3億個の可能なスライディングウィンドウ位置をすべて活用することで、FDDBで優れた性能を発揮する。
• ROC曲線から、MMODで学習されたHOGフィルタは、従来のSVMベースのハードネガティブマイニング法やViola-Jones法よりも顕著に優れた性能を示す。
• 図5の可視化と図6の検出例により確認できるように、MMODで学習されたHOGフィルタは、従来の方法で学習された同じフィルタよりもより正確な検出を実現する。
• 計算的に実行可能であり、FDDBでは1フォールドあたり約25分で学習が可能で、dlibツールボックスの一部としてオープンソース化されている。