[論文レビュー] RotationNet: Learning Object Classification Using Unsupervised Viewpoint Estimation.

Asako Kanezaki|arXiv (Cornell University)|Mar 20, 2016

Robotics and Sensor-Based Localization被引用数 20

ひとこと要約

RotationNetは、1つの観測視点からの視点推定により、3Dオブジェクトの分類と最適な回転経路の予測を同時に実行する深層学習フレームワークを提案する。3Dモデルデータベースと実際の画像で訓練されたことで、ロボットが物体をより良い視点に回転させ、推論時にマルチビュー情報が不要な状況でも分類性能を向上させることができる。

ABSTRACT

The recent popularization of depth sensors and the availability of large-scale 3D model databases such as ShapeNet have drawn increased attention to 3D object recognition. Despite the convenience of using 3D models captured offline, we are allowed to observe only a single view of an object at once, with the exception of the use of special environments such as multi-camera studios. This impedes the recognition of diverse objects in a real environment. If a mechanical system (or a robot) has access to multi-view models of objects and is able to estimate the viewpoint of a currently observed object, it can rotate the object to a better view for classification. In this paper, we propose a novel method to learn a deep convolutional neural network that both classifies an object and estimates the rotation path to its best view under the predicted object category. We conduct experiments on a 3D model database as well as a real image dataset to demonstrate that our system can achieve an effective strategy of object rotation for category classification.

研究の動機と目的

• 現実世界のロボットアプリケーションにおける単一視点3Dオブジェクト認識の限界を解消すること。
• 1つの観測視点のみを用いて、分類に最適な視点を予測できるシステムを実現すること。
• 分類性能を向上させるために物体の再配置を誘導する回転ポリシーを学習すること。
• 分類と視点推定をエンドツーエンドで行う統合ネットワークを訓練すること。

提案手法

• 深層畳み込みニューラルネットワークを、オブジェクトカテゴリと最適な視点への回転経路の両方を予測するように訓練する。
• 3Dオブジェクトの1つの観測視点からの特徴抽出に共通のバックボーンを使用する。
• 視点推定は、オブジェクトを最も識別に適した視点に整列させるための回転パラメータ（例：オイラー角）を予測する回帰ヘッドを用いて実行する。
• 物体の再配置をシミュレートする微分可能回転モジュールを介して、回転経路をエンドツーエンドで学習する。
• 分類損失と回転予測損失の組み合わせを用いて訓練することで、両タスクを同時に最適化する。
• 一般化を検証するため、合成3Dモデルデータベースと実画像データセットの両方でアプローチを評価する。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークは、1つの視点からオブジェクトカテゴリと最適な回転経路を同時に予測できるか？
• RQ2 視点推定は、3Dオブジェクト分類精度の向上にどの程度有効か？
• RQ3 合成3Dモデルで訓練されたにもかかわらず、実世界の画像に一般化できるか？
• RQ4 回転戦略の学習は、分類性能にどのような影響を与えるか？

主な発見

• RotationNetは、より良い視点への最適な回転を予測・実行することで、オブジェクト分類精度を向上させた。
• モデルは1つの観測視点からのみでも視点を効果的に推定でき、戦略的な再配置を可能にした。
• この手法は実画像データセットにも一般化でき、合成3Dデータから現実世界のシナリオへの移行性を示した。
• 分類と回転予測の共同学習は、別々に訓練するよりも優れた性能を達成した。