[論文レビュー] Dynamical And-Or Graph Learning for Object Shape Modeling and Detection

Xiaolong Wang, Liang Lin|arXiv (Cornell University)|Feb 3, 2015

Advanced Image and Video Retrieval Techniques参考文献 24被引用数 13

ひとこと要約

本稿では、動的CCCPアルゴリズムを用いてモデルパラメータと構造を同時に学習する、判別的で弱教師付きのアン・オアグラフモデルを提案する。このモデルは階層的なアン・オア構造を用い、協調的リーフノードエッジ、パーツの可変性を処理するオアノードスイッチ、および包括的検証のためのグローバルルートノードを備えており、INRIA-Horse、ETHZ-Shape、UIUC-Peopleデータセットで最先端の性能を達成し、APは最大56.20%、1.0 FPPIにおけるリコールは89.6%に達する。

ABSTRACT

This paper studies a novel discriminative part-based model to represent and recognize object shapes with an "And-Or graph". We define this model consisting of three layers: the leaf-nodes with collaborative edges for localizing local parts, the or-nodes specifying the switch of leaf-nodes, and the root-node encoding the global verification. A discriminative learning algorithm, extended from the CCCP [23], is proposed to train the model in a dynamical manner: the model structure (e.g., the configuration of the leaf-nodes associated with the or-nodes) is automatically determined with optimizing the multi-layer parameters during the iteration. The advantages of our method are two-fold. (i) The And-Or graph model enables us to handle well large intra-class variance and background clutters for object shape detection from images. (ii) The proposed learning algorithm is able to obtain the And-Or graph representation without requiring elaborate supervision and initialization. We validate the proposed method on several challenging databases (e.g., INRIA-Horse, ETHZ-Shape, and UIUC-People), and it outperforms the state-of-the-arts approaches.

研究の動機と目的

• 構造的で階層的なモデルを用いて、オブジェクト形状検出における大規模なクラス内ばらつきと背景のゴミを効果的に処理すること。
• 手動による初期化やアノテーションなしに、モデルパラメータと構造の両方を自動で弱教師付きで学習可能にすること。
• 協調的エッジによるパーツ再配置と局所的パーツ相互作用のモデル化を通じて、検出のロバスト性を向上させること。
• トレーニング中に最適なリーフノードおよびオアノード構成を段階的に決定する動的学習アルゴリズムの開発。

提案手法

• アン・オアグラフモデルは3層構造である：リーフノード（局所的輪郭断片分類器）、オアノード（アクティブなパーツを選択するスイッチ）、およびルートアンドノード（グローバルオブジェクト検証用）。
• リーフノード間の協調的エッジは、確率的共起をモデル化し、条件付き独立性を緩和し、局所的パーツ相互作用を可能にする。
• 新規の動的CCCPアルゴリズムは、凹凸凸法（CCCP）を拡張し、トレーニング中にパラメータの最適化と同時にモデル構造の動的再構成を共同で最適化する。
• 検出時にはオアノードの位置ずれを許容することでパーツ変形に対応し、ホロウコンテキスト記述子を輪郭表現に用いる。
• トレーニングではPb検出器から得られる陽性のクリアな輪郭と陰性のエッジマップを用い、テストではマルチスケール探索とIoUベースの評価を実施。

実験結果

リサーチクエスチョン

• RQ1 弱教師付きでエンドツーエンド学習可能なアン・オアグラフモデルは、大規模なクラス内形状ばらつきと背景のゴミを効果的に処理できるか？
• RQ2 学習中の動的構造再構成は、固定または手動で設計された構造と比較して、検出性能をどのように向上させるか？
• RQ3 リーフノード間に設けられた協調的エッジは、独立したパーツ検出器と比較して、検出のロバスト性をどの程度向上させるか？
• RQ4 提案された動的CCCPアルゴリズムは、手動による初期構造設計なしに最適なモデルアーキテクチャを自動で特定できるか？

主な発見

• UIUC-Peopleデータセットでは、アン・オアグラフ（AOG）が56.20%の平均精度を達成し、ベースラインのアン・オアツリー（AOT）の53.84%を上回った。
• INRIA-Horseデータセットでは、AOGモデルが1.0 FPPIにおけるリコール89.6%を達成し、競合手法（例：[21]で87.3%、[11]で85.27%）を上回った。
• ETHZ-Shapeでは、5つのカテゴリで平均平均精度が0.898に達し、先行手法（[11]で0.771、[5]で0.712）を上回った。
• 動的CCCPアルゴリズムは6〜9イテレーションで収束し、手動による構造設計なしに最適なリーフノードおよびオアノード構成を正常に特定した。