[論文レビュー] Visual Chunking: A List Prediction Framework for Region-Based Object Detection

Nicholas Rhinehart, Jiaji Zhou+2 more|arXiv (Cornell University)|Oct 27, 2014

Advanced Image and Video Retrieval Techniques参考文献 32被引用数 1

ひとこと要約

この論文は、複数のインスタンス検出を逐次的意思決定問題としてモデル化することで、多様で高品質なオブジェクト検出を最適化する、領域ベースのオブジェクト検出のためのリスト予測フレームワークである Visual Chunking を導入する。学習可能でクラス固有のチャンク拡大アルゴリズムを用いて候補領域を生成し、IoUに基づく性能をベースラインより向上させる、証明可能に効率的なリスト最適化アルゴリズムを採用している。PASCAL VOC および SBD データセットにおいて、性能が向上している。

ABSTRACT

We consider detecting objects in an image by iteratively selecting from a set of arbitrarily shaped candidate regions. Our generic approach, which we term visual chunking, reasons about the locations of multiple object instances in an image while expressively describing object boundaries. We design an optimization criterion for measuring the performance of a list of such detections as a natural extension to a common per-instance metric. We present an efficient algorithm with provable performance for building a high-quality list of detections from any candidate set of region-based proposals. We also develop a simple class-specific algorithm to generate a candidate region instance in near-linear time in the number of low-level superpixels that outperforms other region generating methods. In order to make predictions on novel images at testing time without access to ground truth, we develop learning approaches to emulate these algorithms' behaviors. We demonstrate that our new approach outperforms sophisticated baselines on benchmark datasets.

研究の動機と目的

• 領域ベースの提案を用いた、重複または隣接するオブジェクトを検出する課題に対処すること。
• 従来のNMSを超えて、リストレベルの多様性とカバー範囲をモデル化することで、検出性能を向上させること。
• 任意の候補検出セットを最適化されたリストランク付けによって強化できる、汎用的でプロポーザルに依存しないフレームワークを開発すること。
• 正例オブジェクトとのIoUを最大化するクラス固有のスーパープixelsベースのチャンク拡大法を設計すること。
• 学習により、テスト時に正例が存在しない新しい画像に対しても、提案されたアルゴリズムの検出およびランク付け動作を模倣できるようにすること。

提案手法

• オブジェクト検出を、多様でスコアの高い領域ベースの検出のリスト選択として扱うリスト予測フレームワークを提案する。
• 複数の検出に拡張された交差率（IoU）に基づく新しい最適化基準を導入し、すべての予測を統合的に考慮できるようにする。
• 従来の検出からの文脈的情報を活用して、逐次的に検出リストを構築する、効率的で証明可能に性能が保証されたアルゴリズムを開発する。
• 模倣学習にインspiredされたクラス固有のアルゴリズムを用い、スーパープixelsの結合を正例インスタンスとのIoUを最大化するように拡大してオブジェクトチャンクを生成する。
• 再帰的でバジェットに柔軟なアプローチを採用し、任意の長さのリストを生成可能にし、高精度（短いリスト）または高再現率（長いリスト）の設定をサポートする。
• テスト時に、正例が存在しない状況でも、チャンク拡大およびリストランク付けアルゴリズムの動作を模倣できるモデルを学習し、正例なしでの推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 標準的なNMSやIoUしきい値を超えて、リスト予測フレームワークが複数インスタンスオブジェクト検出を向上させられるか？
• RQ2 重複または隣接するオブジェクトの状況において、オブジェクト境界の正確さと多様性を同時に最適化できるか？
• RQ3 クラス固有のスーパープixelsベースのチャンク拡大法は、Selective Search や SCALPEL などの一般的な領域提案手法を上回れるか？
• RQ4 学習されたモデルが、非微分可能で複雑な検出リストアルゴリズムの動作をテスト時にどれほど正確に模倣できるか？
• RQ5 提案されたフレームワークは、再トレーニングを必要とせずに、複数のデータセットおよびオブジェクトカテゴリに一般化できるか？

主な発見

• PASCAL VOC2012では、提案されたリスト予測手法が、1番目のスロットIoUスコア（f(L[0]）を0.581で達成し、次に良いベースライン（SP ∩DPM）の0.56を上回った。
• SBD Vehiclesでは、上位5つの予測に対する平均リストスコアが1.25を記録し、次に良いベースライン（SP ∩DPM）の1.07を上回った。
• クラス固有のチャンク拡大アルゴリズムは、特に隣接するオブジェクトのケースにおいて、Selective Search や SCALPEL よりも高品質な候補領域を生成した。
• リスト予測アルゴリズムは、従来のNMSが失敗する重複または隣接するオブジェクトを含む画像において、性能を顕著に向上させた。
• 学習されたモデルは、テスト時にパイプライン全体の動作を正確に模倣でき、正例なしでの推論を可能にした。
• このフレームワークは強力な一般化性能を示し、車両、人物、一般的なVOCクラスを含む、複数のデータセットおよびオブジェクトカテゴリでベースラインを上回った。