[論文レビュー] Semantic Pose using Deep Networks Trained on Synthetic RGB-D

Jérémie Papon, Markus Schoeler|arXiv (Cornell University)|Aug 4, 2015

Advanced Vision and Imaging参考文献 6被引用数 25

ひとこと要約

本論文では、合成的に生成されたRGB-Dシーン上で訓練された深層畳み込みニューラルネットワーク（CNN）を提案し、ごみだらけの屋内環境において物体の分類、3Dポーズ、位置を同時に予測する。リアルなRGB-Dデータを用いたトランスファー学習と、リアルタイムで合成データを生成する手法を活用することで、セマンティックポーズ推定分野で最先端の性能を達成し、訓練データに含まれない家具モデルに対してもゼロショット一般化が可能であり、GPU上で1シーンあたり数秒で推論が可能である。

ABSTRACT

In this work we address the problem of indoor scene understanding from RGB-D images. Specifically, we propose to find instances of common furniture classes, their spatial extent, and their pose with respect to generalized class models. To accomplish this, we use a deep, wide, multi-output convolutional neural network (CNN) that predicts class, pose, and location of possible objects simultaneously. To overcome the lack of large annotated RGB-D training sets (especially those with pose), we use an on-the-fly rendering pipeline that generates realistic cluttered room scenes in parallel to training. We then perform transfer learning on the relatively small amount of publicly available annotated RGB-D data, and find that our model is able to successfully annotate even highly challenging real scenes. Importantly, our trained network is able to understand noisy and sparse observations of highly cluttered scenes with a remarkable degree of accuracy, inferring class and pose from a very limited set of cues. Additionally, our neural network is only moderately deep and computes class, pose and position in tandem, so the overall run-time is significantly faster than existing methods, estimating all output parameters simultaneously in parallel on a GPU in seconds.

研究の動機と目的

• RGB-Dデータを用いて、ごみだらけの屋内シーンの堅牢なセマンティック理解を可能にすること。
• ポーズアノテーション付きの大規模なアノテート済みRGB-Dデータセットの不足に取り組むこと。
• 物体の分類、3Dポーズ、空間的位置を同時に予測する1つの深層CNNを開発すること。
• 訓練データに存在しない未確認の家具モデルに対してもゼロショット一般化を可能にすること。
• 合成データからのトランスファーラーニングを用いて、リアルなRGB-Dデータ上でリアルタイムの推論を達成すること。

提案手法

• ランダムな物体配置を伴う合成レンダリングされたRGB-Dシーン上で、エンドツーエンドに訓練される広いマルチアウトプットCNNを採用する。
• 訓練中にCPUおよび補助GPUを用いてプロシージャルレンダリングパイプラインにより、リアルタイムで合成トレーニングデータを生成する。
• ネットワークアーキテクチャが分類予測を再結合することで、ポーズおよび位置の分岐の推定精度を向上させる。
• 非最大抑制（NMS）およびピクセルごとの最大プーリングを適用し、検出出力をセマンティックヒートマップおよびポーズに整合した3Dモデルに統合する。
• 合成データで訓練されたモデルをリアルなモダリティに適応させるために、少量のアノテート済みリアルRGB-D画像を用いてトランスファーラーニングを実施する。
• ポーズ推定には、角度のビンごとのソフトマックスヒストグラムを用い、ピーク周辺の補間により連続的なポーズ予測を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 合成RGB-Dデータのみで訓練された深層CNNは、複雑なごみだらけの屋内シーンにおいても、実世界のシーンに一般化可能か？
• RQ2 このようなモデルは、訓練データにない家具モデルに対しても、物体の分類、3Dポーズ、空間的拡大を高精度に同時に予測可能か？
• RQ3 合成データからリアルなRGB-Dデータへのトランスファーラーニングは、セマンティックポーズ推定においてどの程度効果的か？
• RQ4 モデルは、1つのGPU上で、困難なシーンにおいても高精度を維持しながらリアルタイムの推論を達成可能か？
• RQ5 3D幾何的特徴（法線）を組み込むことで、ごみだらけの環境下で2D RGBのみのアプローチに比べて性能が向上するか？

主な発見

• 本モデルはNYUv2データセットにおいて、ポーズ推定分野で最先端の性能を達成し、ベッド、いす、机、ソファー、テーブルの5つのクラスで先行研究を上回った。
• 訓練データに含まれないテスト用いすに対しても正確なポーズ推定が可能であり、未確認の家具モデルへの一般化が実証された。
• ポーズ推定精度は、15°までの誤差における正規化されたAUC（曲線下の面積）で測定され、2つのクラスで先行SOTA手法を上回るAUCを達成した。
• ネットワークは1回の順伝播で全シーンを処理し、GPU上でクラス、ポーズ、位置のすべての出力を生成し、数秒で完了する。
• わずかな量のリアルなアノテート済みデータを用いたトランスファーラーニングにより、ドメインギャップが存在するにもかかわらず、リアルなシーンにおける性能が顕著に向上した。
• 本システムは信頼性の高いセマンティックヒートマップと正しく配置された一般的な3Dモデルを生成し、実観測におけるノイズやスパarsityに対しても頑健であることが示された。