[論文レビュー] RotationNet: Joint Object Categorization and Pose Estimation Using Multiviews from Unsupervised Viewpoints

Asako Kanezaki, Yasuyuki Matsushita+1 more|arXiv (Cornell University)|Mar 20, 2016

Human Pose and Action Recognition参考文献 59被引用数 50

ひとこと要約

RotationNet は、自己教師付き視点学習を用いて部分的マルチビュー画像から物体カテゴリと 3D ポーズを同時に推定する CNN ベースのモデルである。ModelNet10 および ModelNet40 において 3D 物体分類で最先端の性能を達成し、トレーニング時に真値のポーズラベルを必要としないにもかかわらず、ポーズ推定においても教師あり手法を上回る。これは、真値ポーズなしで視点固有のクラス間整合特徴を学習することで達成される。

ABSTRACT

We propose a Convolutional Neural Network (CNN)-based model "RotationNet," which takes multi-view images of an object as input and jointly estimates its pose and object category. Unlike previous approaches that use known viewpoint labels for training, our method treats the viewpoint labels as latent variables, which are learned in an unsupervised manner during the training using an unaligned object dataset. RotationNet is designed to use only a partial set of multi-view images for inference, and this property makes it useful in practical scenarios where only partial views are available. Moreover, our pose alignment strategy enables one to obtain view-specific feature representations shared across classes, which is important to maintain high accuracy in both object categorization and pose estimation. Effectiveness of RotationNet is demonstrated by its superior performance to the state-of-the-art methods of 3D object classification on 10- and 40-class ModelNet datasets. We also show that RotationNet, even trained without known poses, achieves the state-of-the-art performance on an object pose estimation dataset. The code is available on https://github.com/kanezaki/rotationnet

研究の動機と目的

• 部分的ビュー条件下、つまり複数のビュー画像のうち一部しか利用できない状況における物体認識の課題に取り組む。
• トレーニング時に真値の視点ラベルを必要とせずに、物体カテゴリと 3D ポーズの同時学習を可能にする。
• 外観に基づく自己教師付き学習によって、クラス内およびクラス間のポーズ整合性を実現し、物体カテゴリにわたる一般化性能を向上させる。
• 移動するカメラからの順次的画像入力を用いたリアルタイム分類が可能な実用的システムを開発する。
• 実際の条件下でマルチビュー物体認識を評価可能な新しい実世界ベンチマークデータセット（MIRO）を構築する。

提案手法

• RotationNet はトレーニング中に視点ラベルを潜在変数として扱い、整列しないマルチビュー画像から自己教師付きで物体ポーズを学習する。
• モデルは各入力画像を共有の CNN バックボーンで処理し、特徴表現を抽出した後、事前に定義された各視点に対してポーズ固有の分類ヘッドを適用する。
• 推論時、全ビューにわたるカテゴリ尤度を統合し、全体のカテゴリ信頼度を最大化する視点（ポーズ）を選択することで、分類結果を決定する。
• ポーズ整合戦略により、視点固有の特徴が複数の物体カテゴリにわたって共有され、クラス間整合性が確保され、一般化性能が向上する。
• モデルは画像の順次的入力をサポートし、動的かつ継続的にカテゴリ尤度を更新できるため、移動カメラを用いたリアルタイム応用に適している。
• トレーニングは完全なマルチビュー画像セット（例：160 ビュー）を用いるが、推論は最小1ビューでも高精度を維持できる。

実験結果

リサーチクエスチョン

• RQ1 真値の視点アノテーションが存在しない状況でも、物体分類と 3D ポーズ推定を自己教師付きで効果的に学習できるか？
• RQ2 部分的ビュー条件下で、自己教師付き視点学習が物体分類およびポーズ推定性能に与える影響は何か？
• RQ3 カテゴリ間で共有される視点固有の特徴表現は、カテゴリとポーズの同時学習における一般化性能を向上させるか？
• RQ4 照明、視点、物体の向きが異なる実世界データセットにおいて、RotationNet はどの程度一般化性能を示すか？
• RQ5 ポーズの教師信号なしに学習された本手法は、ポーズ推定において教師ありベースラインを上回るか？

主な発見

• RotationNet は 10 クラスおよび 40 クラスの ModelNet ベンチマークで最先端の性能を達成し、既存の CNN ベース手法を著しく上回っている。
• 真値ポーズなしで学習されたにもかかわらず、RGBD 物体ポーズ推定データセットにおいても、従来の教師あり手法を上回る性能を示した。
• MIRO データセットでは、2 ビューのみで高精度を維持し、実世界の部分的ビュー状況における強力な一般化性能を示した。
• 複数のビューが利用可能になると、物体分類およびポーズ推定の両方の精度が向上し、単一ビュー予測よりも一貫した向上が得られた。
• 外観に基づく自己教師付きアライメントのみを用いて、12 クラスの実世界画像と CAD モデルを成功裏に統合した。
• 移動する USB カメラおよび Microsoft HoloLens を用いた実時間応用でも安定した性能を示し、オンザフライ推論への適性を実証した。