[論文レビュー] Pose Induction for Novel Object Categories

Shubham Tulsiani, João Carreira+1 more|arXiv (Cornell University)|May 1, 2015

Image and Object Detection Techniques参考文献 36被引用数 6

ひとこと要約

本論文は、わずかな注釈付きクラスのシードセットのみを用いて、新しいカテゴリの3次元オブジェクトポーズを予測するポーズインダクションシステムを提案する。アラインドされたトレーニングクラスから一般化されたポーズ予測器を学習し、複数のインスタンスにわたる予測を同時に最適化することで、キーポイントの注釈を一切必要とせず、信頼性の高いポーズ推定を実現する。これにより、シルエットのみからエンドツーエンドの形状モデル学習が可能となり、最小限の監視のもとで新規カテゴリにおいて最先端の性能を示す。

ABSTRACT

We address the task of predicting pose for objects of unannotated object categories from a small seed set of annotated object classes. We present a generalized classifier that can reliably induce pose given a single instance of a novel category. In case of availability of a large collection of novel instances, our approach then jointly reasons over all instances to improve the initial estimates. We empirically validate the various components of our algorithm and quantitatively show that our method produces reliable pose estimates. We also show qualitative results on a diverse set of classes and further demonstrate the applicability of our system for learning shape models of novel object classes.

研究の動機と目的

• 新しいクラスごとに手動でポーズ注釈を必要とせずに、新規オブジェクトカテゴリのポーズ予測を可能にすること。
• 視覚的および構造的類似性を活用して、オブジェクトカテゴリ間でポーズ知識を転移可能な一般化分類器を開発すること。
• 新規カテゴリの複数インスタンスを同時に考慮することで、初期ポーズ推定を改善すること。
• ポーズインダクションがキーポイント注釈を置き換えられ、シルエットのみから3次元形状モデルを学習可能になることを実証することにより、高価な3次元監視の依存度を低減すること。

提案手法

• 3次元回転を用いて一貫した3次元参照フレームにアラインメントすることで、少数の注釈付きオブジェクトカテゴリ上で一般化されたポーズ予測器をトレーニングする。
• ビューポイント多様体の密な離散化を用いて、異なるオブジェクトカテゴリ間で形状を暗黙的にアラインメントし、カテゴリ間一般化を可能にする。
• 訓練済みの一般化分類器を用いて、1つの新規インスタンスに対する初期ポーズ仮説を誘導する。
• 同じ新規カテゴリの複数インスタンスにわたるポーズ予測を、一貫性と正確性を向上させるための共同最適化フレームワークを用いて同時に精緻化する。
• 真値キーポイントではなく、誘導されたポーズ推定値を用いて形状モデリングの投影パラメータ（回転、スケール、平行移動）を初期化する。
• 形状の一貫性、滑らかさ、微小変形を強制するエネルギー関数を用いながら、シルエットデータと共同で形状モデルを最適化し、同時に投影パラメータを精緻化する。

実験結果

リサーチクエスチョン

• RQ1 少数の注釈付きオブジェクトカテゴリから、まったく新しい未注釈のカテゴリにポーズ予測を一般化できるか？
• RQ2 新規カテゴリの複数インスタンスを同時に考慮することで、単一インスタンス予測と比較して、ポーズ推定の正確性がどの程度向上するか？
• RQ3 ポーズインダクションがキーポイント注釈を置き換えられ、シルエットのみから形状モデルを学習可能になるか？
• RQ4 ImageNetのような現実世界のデータセットにおける多様で未知のオブジェクトカテゴリに、この手法はどの程度一般化可能か？

主な発見

• 単一インスタンスのみを用いても信頼性の高いポーズ推定が可能であり、複数インスタンスを共同で考慮することで性能が顕著に向上する。
• シルエット注釈と誘導されたポーズ推定のみを用いても、完全なキーポイント注釈で訓練されたものと比較して、質的・定量的に近い形状モデルが学習可能である。
• 最も信頼性の高いポーズインダクション予測のサブセットは、形状モデリングにおいて高い精度を示し、システム出力の信頼性を裏付ける。
• 誘導されたポーズを用いて学習した自転車の形状モデルは、完全な注釈で訓練された真値モデルと非常に近い形状を再現しており、実世界への適用可能性を検証している。
• 本手法は多様なImageNetカテゴリに一般化可能であり、大規模で現実世界のオブジェクトカテゴリに対しても、堅牢性とスケーラビリティを示している。