[論文レビュー] RotationNet: Joint Learning of Object Classification and Viewpoint Estimation using Unaligned 3D Object Dataset

Asako Kanezaki, Yasuyuki Matsushita+1 more|arXiv (Cornell University)|Mar 20, 2016

Advanced Neural Network Applications被引用数 7

ひとこと要約

RotationNet は、アラインされていない 3D オブジェクトデータセットを用い、アノテーションのない 3D ビューポイントラベルを潜在変数として扱うことで、教師なし学習を行う CNN ベースのモデルであり、マルチビュー画像からオブジェクトカテゴリと 3D ビューポイントを同時に推定する。トレーニング段階で既知のビューポイントアノテーションを必要とせず、ModelNet10/40 における 3D オブジェクト分類およびオブジェクトポーズ推定の両面で最先端の性能を達成する。

ABSTRACT

We propose a Convolutional Neural Network (CNN)-based model which takes multi-view images of an object as input and jointly estimates its pose and object category. Unlike previous approaches that use known viewpoint labels for training, our method treats the viewpoint labels as latent variables, which are learned in an unsupervised manner during the training using an unaligned object dataset. RotationNet is designed to use only a partial set of multi-view images for inference, and this property makes it useful in practical scenarios where only partial views are available. Moreover, our pose alignment strategy enables one to obtain view-specific feature representations shared across classes, which is important to maintain high accuracy in both object categorization and pose estimation. Effectiveness of RotationNet is demonstrated by its superior performance to the state-of-the-art methods of 3D object classification on 10- and 40-class ModelNet datasets. We also show that RotationNet, even trained without known poses, achieves the state-of-the-art performance on an object pose estimation dataset. The code is available on this https URL

研究の動機と目的

• トレーニング段階で既知のビューポイントラベルを必要とせずに、マルチビュー画像からオブジェクトカテゴリと 3D ビューポイントを同時に予測する手法を開発すること。
• 観測角度が制限された現実世界の状況においても実用的であるよう、部分的なマルチビュー画像セットでの推論を可能にすること。
• ポーズアライメント戦略を用いて、オブジェクトカテゴリを跨いで共有されるビューサイズ特徴表現を学習することで、分類およびポーズ推定の両方の精度を向上させること。
• アラインされていない、アノテーションのない 3D オブジェクトデータのみを用いて、3D オブジェクト分類およびポーズ推定のベンチマークで最先端の性能を示すこと。

提案手法

• RotationNet はマルチビュー CNN を用い、異なる角度からのオブジェクトの入力画像を処理し、複数のビュー間で共有される特徴を抽出する。
• ビューポイントラベルを潜在変数として扱い、教師ありポーズアノテーションが不要な状態で、エンドツーエンドに学習する。
• 異なるビューポイント間の特徴をアライメントするためのポーズアライメント戦略を適用し、オブジェクトクラスに依存しないビューサイズ特徴表現を学習可能にする。
• オブジェクト分類とビューポイント推定の両方の目的を同時に最適化するためのジョイント損失関数を用いてモデルを訓練する。
• 部分的なビュー入力を処理できるようにアーキテクチャを設計し、一部のビューしか入手できない状況でも頑健であるようにする。
• アライメントされていないデータセットを活用する。つまり、画像が事前に特定のビューポイントに登録されていないため、より広範な現実世界への適用性が向上する。

実験結果

リサーチクエスチョン

• RQ1 教師あり学習で既知のビューポイントラベルを必要とせずに、マルチビュー画像からオブジェクトカテゴリと 3D ビューポイントを同時に予測できる深層学習モデルは構築可能か？
• RQ2 アラインされていない 3D オブジェクトデータに対して教師なしで学習させたモデルは、3D オブジェクト分類および 3D ポーズ推定の両タスクにどの程度一般化できるか？
• RQ3 提案されたポーズアライメント戦略は、異なるビューポイントおよびオブジェクトカテゴリ間で特徴表現学習をどの程度向上させるか？
• RQ4 推論段階でオブジェクトの一部のビューしか提供されない場合、モデルは高い精度を維持できるか？
• RQ5 分類とポーズ推定の共同学習は、それぞれのタスクを別々に学習するモデルと比較して、より良い性能を発揮するか？

主な発見

• RotationNet は、どの既知のビューポイントアノテーションも使用せずにトレーニングされたにもかかわらず、10クラスおよび40クラスの ModelNet データセットにおける 3D オブジェクト分類で最先端の性能を達成した。
• 教師ありポーズラベルが一切ない自己教師あり学習でトレーニングされたにもかかわらず、オブジェクトポーズ推定ベンチマークで最先端の結果を達成した。
• ポーズアライメント戦略の活用により、オブジェクトカテゴリを跨いで共有されるビューサイズ特徴表現をネットワークが学習可能となり、一般化性能と精度が向上した。
• 推論段階で部分的なマルチビュー画像セットが提供されても、RotationNet は高い性能を維持し、不完全な観測に対しても頑健であることを示した。
• 分類とポーズ推定の教師なし共同学習は、それぞれのタスクを別々に学習するモデルと比較して、両タスクの性能が向上した。