[論文レビュー] Car Segmentation and Pose Estimation using 3D Object Models

Siddharth Mahendran, Renè Vidal|arXiv (Cornell University)|Dec 21, 2015

Advanced Neural Network Applications参考文献 36被引用数 4

ひとこと要約

本稿では、3次元オブジェクトモデルを用いて、2次元画像セグメンテーションと3次元車両ポーズ推定の両タスクを向上させるための統合フレームワークを提案する。3次元形状と体積の一貫性に基づく新規のトップダウン型ポテンシャルを導入し、グラフカットと分枝上限法最適化による効率的な推論が可能な標準的なCRF項に分解する。セグメンテーションを事前知識として用いる場合や逆にポーズ推定を事前知識として用いる場合に、両タスクの精度が向上し、22.29%のオriented detection accuracyを達成した。

ABSTRACT

Image segmentation and 3D pose estimation are two key cogs in any algorithm for scene understanding. However, state-of-the-art CRF-based models for image segmentation rely mostly on 2D object models to construct top-down high-order potentials. In this paper, we propose new top-down potentials for image segmentation and pose estimation based on the shape and volume of a 3D object model. We show that these complex top-down potentials can be easily decomposed into standard forms for efficient inference in both the segmentation and pose estimation tasks. Experiments on a car dataset show that knowledge of segmentation helps perform pose estimation better and vice versa.

研究の動機と目的

• 2次元画像セグメンテーションと3次元ポーズ推定を、3次元オブジェクトモデルをトップダウン型事前知識として統合することで向上させること。
• 視点依存の形状事前知識に依存する2次元ベースのCRFモデルの限界を克服すること。
• セグメンテーションとポーズ推定の間の相互情報を利用した統合最適化フレームワークを構築すること。
• 分解および境界技術を用いて、混合整数非凸最適化問題における効率的推論を可能とすること。
• 3次元幾何的事前知識を用いて統合的にモデル化した場合、セグメンテーションとポーズ推定が互いに相互に利益をもたらすことを示すこと。

提案手法

• 3次元ワイヤフレームモデルの投影と2次元HOG特徴の一致に基づく形状コスト、3次元モデルの投影と2次元セグメンテーション領域の一致に基づく体積コストを用いた2つの新規トップダウン型CRFポテンシャルを提案する。
• 3次元形状および体積ポテンシャルを、効率的なグラフカット推論が可能な標準的な単一およびペアワイズCRF項に分解する。
• 3次元ポーズ推定に分枝上限（B&B）アルゴリズムを用い、形状および体積コストに基づく幾何的境界を用いて探索を高速化する。
• 交互最小化におけるコスト低下の単調性を保証するポーズセルの精錬手順を導入し、B&Bの非正確出力に起因する問題を克服する。
• セグメンテーションとポーズ推定の間で交互最小化（AM）スキームを採用し、ボトムアップ型セグメンテーションとDPMベースのポーズから初期化する。
• セグメンテーションの交差領域比（IoU）に基づくしきい値による収束基準を用いて、AMプロセスの終了を制御する。

実験結果

リサーチクエスチョン

• RQ1 2次元形状事前知識を越えて、3次元オブジェクトモデルが2次元画像セグメンテーションおよび3次元ポーズ推定を向上させられるか？
• RQ2 3次元形状および体積の一貫性を、微分可能かつ分解可能なポテンシャルとしてCRFフレームワークにどのように組み込むことができるか？
• RQ3 非凸的かつ非滑らかなエネルギー関数を有する2次元セグメンテーションと3次元ポーズ推定の統合問題において、効率的推論を達成できるか？
• RQ4 セグメンテーションとポーズ推定を統合的に学習することで、独立した最適化と比較して相互に性能向上が達成できるか？
• RQ5 オクルージョンやクラス内変動を扱う際、3次元幾何的事前知識は2次元事前知識と比較してどのように優位性を示すか？

主な発見

• 体積ベースのトップダウン型ポテンシャルは、3次元オブジェクトデータセットで91.67%の最高のオriented detection accuracyを達成し、形状ベース（85.42%）およびセグメンテーションなし（78.13%）のベースラインを上回った。
• VOC2011データセットでは、交互最小化による統合最適化により、オriented detection accuracyが22.29%（AM-Volume）に向上し、単一ステップ最適化の19.28%ベースラインを上回った。
• 統合設定ではセグメンテーション精度がわずかに低下した（例：AM-Volumeでは86.42%、B1-Volumeでは89.17%）、セグメンテーションとポーズ精度のトレードオフが示された。
• AM-Shapeモデルを用いることで、VOC2011データセットで54.29%の平均検出精度を達成し、ベースラインより一貫した向上を示した。
• ポーズセル精錬手順により、B&Bの非正確出力にもかかわらず、交互最小化におけるコスト低下が成功裏に保証され、収束が可能となった。
• 可視化結果（図8）から、真値ポーズを用いることで、形状モデルおよび体積モデルの両方においてセグメンテーション品質が向上し、統合学習によりセグメンテーションおよびポーズ推定の両方が精錬されたことが示された。