[論文レビュー] Learning detectors quickly using structured covariance matrices

Jack Valmadre, Sridha Sridharan+1 more|arXiv (Cornell University)|Mar 28, 2014

Remote-Sensing Image Classification参考文献 23被引用数 4

ひとこと要約

本論文では、従来のハードネガティブマーチャンダイジング（HNM）やコレスキー分解と比較して、オーダー・オブ・マグニチュード速く、メモリをはるかに少なく使うために、構造的共分散行列（特にトーペリッツおよび巡回形式）を用いる手法を提案する。ネガティブ例の分布における定常性を活用することで、全ネガティブセットを再訪問することなく、高速変換（例：FFT）を用いて検出器を計算可能となり、HNMと同等の性能を数秒未満で達成する。

ABSTRACT

Computer vision is increasingly becoming interested in the rapid estimation of object detectors. Canonical hard negative mining strategies are slow as they require multiple passes of the large negative training set. Recent work has demonstrated that if the distribution of negative examples is assumed to be stationary, then Linear Discriminant Analysis (LDA) can learn comparable detectors without ever revisiting the negative set. Even with this insight, however, the time to learn a single object detector can still be on the order of tens of seconds on a modern desktop computer. This paper proposes to leverage the resulting structured covariance matrix to obtain detectors with identical performance in orders of magnitude less time and memory. We elucidate an important connection to the correlation filter literature, demonstrating that these can also be trained without ever revisiting the negative set.

研究の動機と目的

• 従来のハードネガティブマーチャンダイジング（HNM）を用いた大規模ネガティブデータセットにおけるオブジェクト検出器の訓練における高い計算コストを低減すること。
• 2次統計（共分散行列）の構造的性質を活用して、線形検出器の訓練時間を短縮し、メモリ使用量を削減すること。
• オンライン学習やモバイルビジョンなど、多数または動的検出器を必要とする応用分野において、即時の検出器学習を可能にすること。
• 構造的共分散行列を通じて、線形判別分析（LDA）と相関フィルタの間の理論的かつ実用的な接続を確立すること。

提案手法

• 画像のサブウィンドウにおける定常性を活用し、ネガティブ例の共分散を構造的トーペリッツまたは巡回行列としてモデル化することで、パラメータ数をO(n²)からO(n)に削減する。
• 共分散行列Sとクラス平均差bの線形方程式S w = bを効率的に解くために、高速フーリエ変換（FFT）を用いる。
• コレスキー分解を避けるために、共役勾配法を用いて反復的に方程式を解き、計算メモリを削減する。
• 明示的なネガティブサンプリングを回避するために、構造的共分散行列から直接マルチチャネル相関フィルタを導出する。
• 安定化のための正則化としてλIを導入し、実験ではλ = 1e-4を用いる。
• LAPACK、FFTW、liblinearなどの標準ライブラリを用いてすべての手法を実装し、再現可能性と既存のパイプラインとの互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 構造的共分散行列（トーペリッツ／巡回）を用いることで、HNMと同等の精度を得つつ、著しく少ない時間とメモリで検出器を学習可能か？
• RQ2 構造的共分散を用いて学習した検出器の性能は、標準的なHNMまたはランダムサンプリングを用いた場合と比べてどの程度か？
• RQ3 明示的なネガティブ例のアクセスなしに、相関フィルタフレームワークを定常共分散行列からどの程度まで導出可能か？
• RQ4 検出器学習において、巡回構造とトーペリッツ構造を用いる際の、速度、メモリ、精度のトレードオフはどの程度か？
• RQ5 提案手法は、ImageNetのような大規模データセットに対しても、高い検出性能を維持しながらスケーラブルか？

主な発見

• 巡回構造共分散を用いて学習した検出器は、1秒未満で、ランダムに選択されたネガティブ例のサブセット上で学習したSVMと同等の精度再現性能を達成する。
• トーペリッツ構造共分散を用いて学習した検出器は、HNMと同等の性能を示すが、計算時間とメモリ使用量がオーダー・オブ・マグニチュード小さくなる。
• 構造的共分散を用いた共役勾配法は、コレスキー分解と比較して、訓練時間をほぼ2桁短縮する。
• 構造的共分散アプローチのメモリ要件は著しく削減される—コレスキー法では数百MB程度であるが、巡回またはトーペリッツ形式では僅か数十KBにまで減少する。
• 本手法はテンプレートサイズに依存しないため、全共分散を再計算することなく、複数スケールの再トレーニングが高速に可能である。
• 実験では、約1,000～100枚のネガティブ画像で十分に共分散行列を推定でき、性能低下は無視できるほど小さいことが示され、データ制限に強く頑健であることがわかった。