[論文レビュー] Learning And-Or Models to Represent Context and Occlusion for Car Detection and Viewpoint Estimation

Tianfu Wu, Bo Li+1 more|arXiv (Cornell University)|Jan 29, 2015

Video Surveillance and Tracking Methods参考文献 45被引用数 5

ひとこと要約

本稿では、一貫した階層的表現を共同で学習することで、頑健な自動車検出と視点推定を実現する弱教師付きAnd-Orモデルを提案する。再構成可能な有向無閉路グラフを用いて、複数台の車両配置、単一車両の隠蔽状態、パーツレベルの可視性をモデル化することで、4つのベンチマークデータセットで最先端の検出性能を達成し、視点推定においても競争力ある結果を得た。CADシミュレーションと弱教師付き構造的SVMを活用して、パラメータを共同で学習した。

ABSTRACT

This paper presents a method for learning And-Or models to represent context and occlusion for car detection and viewpoint estimation. The learned And-Or model represents car-to-car context and occlusion configurations at three levels: (i) spatially-aligned cars, (ii) single car under different occlusion configurations, and (iii) a small number of parts. The And-Or model embeds a grammar for representing large structural and appearance variations in a reconfigurable hierarchy. The learning process consists of two stages in a weakly supervised way (i.e., only bounding boxes of single cars are annotated). Firstly, the structure of the And-Or model is learned with three components: (a) mining multi-car contextual patterns based on layouts of annotated single car bounding boxes, (b) mining occlusion configurations between single cars, and (c) learning different combinations of part visibility based on car 3D CAD simulation. The And-Or model is organized in a directed and acyclic graph which can be inferred by Dynamic Programming. Secondly, the model parameters (for appearance, deformation and bias) are jointly trained using Weak-Label Structural SVM. In experiments, we test our model on four car detection datasets --- the KITTI dataset \cite{Geiger12}, the PASCAL VOC2007 car dataset~\cite{pascal}, and two self-collected car datasets, namely the Street-Parking car dataset and the Parking-Lot car dataset, and three datasets for car viewpoint estimation --- the PASCAL VOC2006 car dataset~\cite{pascal}, the 3D car dataset~\cite{savarese}, and the PASCAL3D+ car dataset~\cite{xiang_wacv14}. Compared with state-of-the-art variants of deformable part-based models and other methods, our model achieves significant improvement consistently on the four detection datasets, and comparable performance on car viewpoint estimation.

研究の動機と目的

• 自動車検出における大きな構造的・外観的変動、特に隠蔽と文脈的依存性に起因する課題に対処すること。
• 完全なインスタンスレベルのアノテーションを必要とせずに、複数台の文脈パターンと単一車両の隠蔽状態を統合的に捉えるモデルを学習すること。
• 完全なアノテーションではなく、弱教師付きのバウンディングボックスアノテーションのみを用いて、重度の隠蔽と視点変動に耐えうる頑健な自動車検出と視点推定を実現すること。
• 検出された構成に基づき、動的に外観テンプレートを組み立てる再構成可能な階層的モデルを構築すること。
• CADベースの合成データ生成を統合し、パーツの可視性と隠蔽の規則性をモデル化すること。

提案手法

• And-Orモデルは、3段階の階層的レベル（複数台の配置、単一車両の隠蔽状態、パーツレベルの可視性パターン）を持つ有向無閉路グラフとして構造化される。
• 複数台の文脈的パターンは、アノテート済み単一車両のバウンディングボックス配置から抽出され、空間的整列と同時発生統計を捉える。
• 隠蔽状態は、CADモデルを用いて、車両間の相対位置やカメラ視点のさまざまな条件下でのパーツ可視性をシミュレートすることで学習する。
• パーツレベルの可視性の組み合わせは文法に基づく階層としてモデル化され、推論時に再構成可能な外観テンプレートの組み立てが可能になる。
• モデル構造は、文脈的および隠蔽パターンの無教師抽出により学習され、その後、弱教師付き構造的SVM（WLSSVM）を用いて外観、変形、バイアスパラメータを共同で訓練する。
• 動的プログラミングを用いて、階層的なAnd-Or構造上の効率的な推論を実現し、検出された構成に基づき、リアルタイムでのテンプレート組み立てを可能にする。

実験結果

リサーチクエスチョン

• RQ1 再構成可能で階層的な方法で、統合されたAnd-Orモデルが、複数台の文脈と単一車両の隠蔽状態を効果的に表現できるか？
• RQ2 バウンディングボックスのみでトレーニングされた弱教師付きモデルが、重度の隠蔽を伴う複雑な実世界の自動車検出シナリオにどれほど一般化できるか？
• RQ3 CADシミュレートされた隠蔽状態を統合することで、検出性能と視点推定性能がどの程度向上するか？
• RQ4 提案手法が、最先端の検出精度を達成しつつ、視点推定性能についても競争力を持つことができるか？
• RQ5 And-Or構造の再構成性が、可変構造を持たない従来の可変部分モデル（DPM）と比較して、性能向上にどの程度寄与するか？

主な発見

• 提案されたAnd-Orモデルは、KITTI、PASCAL VOC2007、Street-Parking、Parking-Lotの4つの自動車検出ベンチマークデータセットで最先端の検出性能を達成し、ベースラインのDPMおよびVDPMよりmAPが向上した。
• KITTIデータセットでは43.2%のmAPを達成し、VDPM（36.1%）およびDPM-VOC+VP（36.1%）を大きく上回り、隠蔽下でも優れた一般化性能を示した。
• PASCAL3D+データセットでは、平均精度（AP）41.1%、平均視点精度（AVP）22.9%を達成し、VDPMおよびdecafを上回り、先進的なCADベースのモデルと同等の性能を示した。
• PASCAL VOC2006および3D Objectデータセットでは、最先端の手法と同等の視点推定性能を達成し、MPPEスコアはそれぞれ42.1%および36.1%であった。
• CADシミュレートされた隠蔽状態と弱教師付きWLSSVMトレーニングの統合により、完全なアノテーションがなくても、パーツの可視性と変形を効果的にモデル化できた。
• And-Orモデルの再構成性により、実世界のシーンにおける多様な隠蔽および文脈パターンに対応するための外観テンプレートの動的組み立てが可能となり、性能向上に不可欠であった。