[論文レビュー] Pixels, voxels, and views: A study of shape representations for single view 3D object shape prediction

Daeyun Shin, Charless C. Fowlkes+1 more|arXiv (Cornell University)|Apr 17, 2018

3D Shape Modeling and Analysis参考文献 21被引用数 13

ひとこと要約

本稿では、1枚の画像からの3次元形状予測において、ボクセル（ボリュメトリック）表現とサーフェスベース（マルチデプスマップ）表現、およびビューア中心座標系とオブジェクト中心座標系の統合的フレームワークを提案する。表面ベース表現が新規カテゴリにおいてボクセルを上回ること、ビューア中心予測が未学習オブジェクトに一般化しやすく、オブジェクト中心予測はカテゴリ認識に依存する傾向にあることが判明した。

ABSTRACT

The goal of this paper is to compare surface-based and volumetric 3D object shape representations, as well as viewer-centered and object-centered reference frames for single-view 3D shape prediction. We propose a new algorithm for predicting depth maps from multiple viewpoints, with a single depth or RGB image as input. By modifying the network and the way models are evaluated, we can directly compare the merits of voxels vs. surfaces and viewer-centered vs. object-centered for familiar vs. unfamiliar objects, as predicted from RGB or depth images. Among our findings, we show that surface-based methods outperform voxel representations for objects from novel classes and produce higher resolution outputs. We also find that using viewer-centered coordinates is advantageous for novel objects, while object-centered representations are better for more familiar objects. Interestingly, the coordinate frame significantly affects the shape representation learned, with object-centered placing more importance on implicitly recognizing the object category and viewer-centered producing shape representations with less dependence on category recognition.

研究の動機と目的

• 形状表現（ボリュメトリック対表面ベース）と座標系（ビューア中心対オブジェクト中心）の影響を、単一視点3次元形状予測において体系的に評価すること。
• オブジェクトのなじみの程度（既知のインスタンスから新規カテゴリまで）が、異なる表現および座標選択における性能に与える影響を調査すること。
• RGB画像と深度画像を入力として用いたモデルの一般化能力を評価すること、特に新規オブジェクトカテゴリや未学習視点に対して。
• 座標系の選択が、ネットワークエンコーダーが学習する特徴埋め込みに与える影響、特にオブジェクト分類に関連してどのように影響するかを調査すること。

提案手法

• すべての実験で共通のエンコーダデコーダアーキテクチャを用い、デコーダーは3次元ボクセルまたは複数の視点からのデプスマップを予測するように変更されている。
• 表面ベース予測では、入力画像を基準に複数の視点でのシルエットとデプスマップを生成し、局所的なアライメントを経て点群に統合して表面再構築を行う。
• 座標系はトレーニングおよび評価時に使用される基準座標系によって制御される：ビューア中心は入力画像の視点を基準とし、オブジェクト中心は標準的でカテゴリに整合した姿勢を基準とする。
• 性能評価にはボリュメトリックなIoUと表面ベースのチェンファーディスタンスを併用し、最終的な表現の違いを評価する。
• ネットワークはRGB画像および深度画像を入力としてトレーニング・評価され、既知のインスタンス、既知のインスタンスの新規視点、新規カテゴリの3つの評価タスクで別々の指標を用いる。
• ビューア中心モデルの4096次元特徴埋め込みから分類器を学習し、オブジェクト認識への有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 表面ベース表現（マルチデプスマップ）は、ボリュメトリック表現（ボクセル）を上回るか？特に新規オブジェクトカテゴリの予測において。
• RQ2 ビューア中心座標予測は、オブジェクト中心座標予測よりも、新規オブジェクトや未学習視点への一般化に優れているか？
• RQ3 座標系の選択が、形状予測におけるオブジェクトカテゴリ認識への依存度に与える影響は何か？
• RQ4 RGB画像と深度画像を入力として用いる場合、表面ベースとボリュメトリック表現の性能差に影響を与えるか？
• RQ5 ビューア中心座標での形状予測は、エンドツーエンドのカテゴリ分類と比較して、後続のオブジェクト認識タスクに優れた特徴を生成できるか？

主な発見

• 表面ベース表現は、評価指標にかかわらず、新規オブジェクトカテゴリにおいてボクセル表現を著しく上回る。これは高解像度の形状詳細をよりコン act かつ効率的に符号化できるためである。
• ビューア中心座標予測は新規オブジェクトや未学習視点に一般化しやすく、オブジェクト中心予測は既知のインスタンスや熟知されたオブジェクトの新規視点に対して優れる。
• オブジェクト中心モデルはオブジェクトカテゴリ認識に強く依存し、誤ったカテゴリに対しても妥当に見えるが誤った形状を生成する傾向がある。一方、ビューア中心モデルはカテゴリレベルの誤りが少ない。
• 座標系の選択は、ネットワークエンコーダーが学習する特徴を根本的に変える。ビューア中心表現はポーズに敏感な特徴を学習し、オブジェクト中心表現はカテゴリに敏感な特徴を学習する。
• ビューア中心モデルの特徴埋め込みから学習した分類器は、同じデータでエンドツーエンドに学習したResNet分類器よりも1%高い正確度を達成した。これは、オブジェクト認識に強い判別力を持つことを示している。
• 高品質な形状を再現できる一方、ビューア中心予測はしばしばポーズのずれ（15–20度の誤差）を生じ、形状品質が高くても定量的スコアが低下することがある。