[論文レビュー] Learning Analysis-by-Synthesis for 6D Pose Estimation in RGB-D Images

Alexander Krull, Eric Brachmann+4 more|arXiv (Cornell University)|Aug 19, 2015

Robotics and Sensor-Based Localization参考文献 27被引用数 29

ひとこと要約

本稿では、RGB-D画像における6次元オブジェクトポーズ推定のための学習ベースの解析・合成フレームワークを提案する。畳み込みニューラルネットワーク（CNN）を用いて、観測画像とレンダリング画像の類似度を学習する。CNNは最尤推定で学習されたエネルギー関数により、オブジェクトポーズの事後確率をモデル化し、重いオクルージョンが生じる2つのデータセットで最先端の性能を達成し、従来手法に比べ顕著な改善を示した。

ABSTRACT

Analysis-by-synthesis has been a successful approach for many tasks in computer vision, such as 6D pose estimation of an object in an RGB-D image which is the topic of this work. The idea is to compare the observation with the output of a forward process, such as a rendered image of the object of interest in a particular pose. Due to occlusion or complicated sensor noise, it can be difficult to perform this comparison in a meaningful way. We propose an approach that "learns to compare", while taking these difficulties into account. This is done by describing the posterior density of a particular object pose with a convolutional neural network (CNN) that compares an observed and rendered image. The network is trained with the maximum likelihood paradigm. We observe empirically that the CNN does not specialize to the geometry or appearance of specific objects, and it can be used with objects of vastly different shapes and appearances, and in different backgrounds. Compared to state-of-the-art, we demonstrate a significant improvement on two different datasets which include a total of eleven objects, cluttered background, and heavy occlusion.

研究の動機と目的

• 重いオクルージョンやセンサーノイズが生じるような厳しい条件下でのRGB-D画像における6次元オブジェクトポーズ推定の改善。
• 複雑なノイズや欠損した深度データの影響により、解析・合成における観測画像とレンダリング画像の比較が困難になる問題への対処。
• ディープラーニングを用いて、観測画像とレンダリング画像の間の堅牢で汎用性のある類似度関数を学習。
• 再訓練なしに、多様なオブジェクト形状、外観、背景に対してゼロショット一般化を可能にする。

提案手法

• 畳み込みニューラルネットワーク（CNN）を訓練し、観測画像とレンダリング画像のペアを、ポーズの妥当性を表すエネルギー値へマッピングする。
• エネルギー関数は最尤推定により学習され、オブジェクトポーズの事後分布をギブス分布としてモデル化する。
• CNNは1つのオブジェクト（例：サムライ）に対して訓練され、その後、微調整なしに他のオブジェクトへ適用可能である。
• ポーズ推定パイプラインは、学習済みエネルギー関数を最適化の目的関数として用い、真のポーズでエネルギーを最小化する。
• 本手法はRGBと深度情報の両方を活用しており、レンダリング画像は3次元モデルと既知のポーズを用いて生成される。
• 本フレームワークは汎用的であり、任意の画像ペアタイプ（例：RGB vs. 深度、またはRGB vs. 仮想RGB）に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 ディープCNNは、6次元ポーズ推定のための観測RGB-D画像とレンダリング画像の類似度を効果的に学習できるか？
• RQ2 1つのオブジェクトで訓練されたCNNは、形状・外観・背景が異なる他のオブジェクトへ一般化可能か？
• RQ3 重いオクルージョンやセンサーノイズ下でも、学習済みエネルギー関数は従来の解析・合成手法を上回る性能を示せるか？
• RQ4 性能向上は複数のデータセットおよびオブジェクトカテゴリにわたり安定的か？

主な発見

• オクルージョン度が50%〜60%の状況下で、オクルージョンデータセットにおいてポーズ推定精度が20%以上向上した。
• Krullらのデータセットでは、Brachmannら[5]のベースライン手法よりも平均精度が10.97%向上した。
• 訓練時に見なかったオブジェクトに対しても、CNNは効果的に一般化した。形状や外観が著しく異なるオブジェクトに対しても同様に有効であった。
• Krullデータセット全体のテストオブジェクトにおいて、平均精度は56.74%を達成し、個々の結果は56.02%（Toolbox）、59.56%（Cat）、54.65%（Samurai）であった。
• 失敗事例の多くはエネルギー関数の問題ではなく、最適化の問題に起因しており、真のポーズが推定値よりもエネルギーが低くなる場合が多かった。
• 本手法はRGB-Dに限らず、他の画像モダリティにも一般化可能であり、観測RGBとレンダリング深度画像の比較にも適用可能である。