[論文レビュー] A Coarse-to-Fine Model for 3D Pose Estimation and Sub-category Recognition

Roozbeh Mottaghi, Xiang Yu+1 more|arXiv (Cornell University)|Apr 10, 2015

Advanced Neural Network Applications参考文献 33被引用数 4

ひとこと要約

本論文は、階層的な細粒度を活用してパラメータ爆発を低減し、性能を向上させる、粗いから細かい階層的モデルを提案する。この手法は、離散的および連続的変数を併用するハイブリッドランダムフィールドを用い、パーティクルベース推論で学習する。平坦なモデルや離散的分類器と比較して、特に連続的視点推定によりマスクの整合性が向上することで、『All』タスクで最大23%の向上を達成する。

ABSTRACT

Despite the fact that object detection, 3D pose estimation, and sub-category recognition are highly correlated tasks, they are usually addressed independently from each other because of the huge space of parameters. To jointly model all of these tasks, we propose a coarse-to-fine hierarchical representation, where each level of the hierarchy represents objects at a different level of granularity. The hierarchical representation prevents performance loss, which is often caused by the increase in the number of parameters (as we consider more tasks to model), and the joint modelling enables resolving ambiguities that exist in independent modelling of these tasks. We augment PASCAL3D+ dataset with annotations for these tasks and show that our hierarchical model is effective in joint modelling of object detection, 3D pose estimation, and sub-category recognition.

研究の動機と目的

• オブジェクト検出、3Dポーズ推定、サブカテゴリ認識を同時にモデル化する課題に取り組むこと。これらは強く相関しているが、通常は別々に扱われる。
• 複雑性が増すに従い、複数のタスクを同時にモデル化する際に発生するパラメータ爆発による性能低下を軽減すること。
• 粗いと細かいオブジェクト表現の階層的関係を活用することで、ポーズおよびサブカテゴリ推定における曖昧さを解消すること。
• 離散的視点ビンに依存するのではなく、連続的3D視点推定を用いることで、真値オブジェクトマスクとの整合性を向上させること。
• 評価のため、PASCAL3D+データセットにサブカテゴリおよびより細かいサブカテゴリのアノテーションを追加すること。

提案手法

• 各レベルで細粒度が向上する粗いから細かい階層的表現を採用し、高レベルのカテゴリと離散的視点から、より細かいサブカテゴリおよび連続的3Dポーズパラメータへと段階的に進む。
• 離散的変数（例：サブカテゴリ）と連続的変数（例：方位角、仰角、距離）を統合的にモデル化するため、ハイブリッドランダムフィールド構造を用いる。
• 連続的および離散的確率的変数の混合を扱うために、パーティクルベース推論を適用する。
• 拡張されたPASCAL3D+データセット（新しいサブカテゴリアノテーションを含む）上で、全階層レベルのパラメータを判別的学習アプローチで同時に学習する。
• 1つの統合フレームワーク内で、オブジェクト位置、連続的3Dポーズ、サブカテゴリ、およびより細かいサブカテゴリを統合推論する。
• 連続的視点推定は、CADマスクの投影と真値セグメンテーションマスクとの間のオーバーラップ率（IoU）を用いて評価され、2つの評価設定（CAD整合性と2Dセグメンテーション）が用いられる。

実験結果

リサーチクエスチョン

• RQ1 粗いから細かい階層的モデルは、モデル複雑性の増加による性能低下を避けて、3Dポーズ推定、オブジェクト検出、サブカテゴリ認識を統合的に効果的に統合できるか？
• RQ2 階層的レベル間での統合モデリングは、独立したモデリングと比較して、ポーズおよびサブカテゴリ推定における不確実性を低減し、精度を向上させるか？
• RQ3 マスク整合性精度の観点から、連続的3D視点推定は離散的視点分類と比較して優れているか？
• RQ4 階層的構造は、まれなまたは曖昧なオブジェクトカテゴリにおいて、どの程度性能を向上させるか？
• RQ5 同じ特徴セットを用いた場合、提案手法は平坦なモデルや別個の分類器よりも優れた結果を達成できるか？

主な発見

• 3層の階層的モデルは、同じ特徴を用いた平坦モデルと比較して、『All』タスク（統合検出、ポーズ、サブカテゴリ）で23%の向上を達成する。
• 階層的モデルは平坦モデルを著しく上回り、特にサブカテゴリ認識および連続的視点推定において顕著な性能向上を示し、16個の離散的方位角ビンで15.2%のAVPを達成する。
• 2Dセグメンテーションマスクで評価した場合、連続的視点推定は離散バージョンと比較してIoUを10.2%向上させ、実際のオブジェクト形状との整合性が優れていることを示している。
• モデルは複雑性が増大しても性能を維持または向上させ、階層的パラメータ共有が性能低下を防ぐことを示している。
• 自動車のサブカテゴリの混同行列では、主要クラス（セダン）に対して高い性能を示し、高いAVP値を示しており、主要パターンの有効な学習が行われていることを示している。
• 自動車カテゴリでは、方位角に対してRMSEが73.16°、仰角が6.59°、距離が11.25であり、連続的ポーズ推定の高精度を示している。