[論文レビュー] Deep Supervision with Shape Concepts for Occlusion-Aware 3D Object Parsing

Chi Li, M. Zeeshan Zia+4 more|arXiv (Cornell University)|Dec 8, 2016

Advanced Neural Network Applications参考文献 39被引用数 9

ひとこと要約

本論文では、合成の3次元CADレンダリングデータを用いて、ポーズ、キーポintsの位置、可視性といった形状コンセプトで中間層を深く監視する、ディープ畳み込みニューラルネットワークフレームワークであるDISCOを提案する。これにより、1枚のRGB画像からの正確な2次元／3次元のセマンティックパーツローカライゼーションおよび隠蔽推論が可能になる。本手法は、フォトリッチなレンダリングを必要とせず、合成データから実データへの一般化を効果的に行う。KITTI-3D、PASCAL VOC、PASCAL3D+、IKEAといった実世界のベンチマークで最先端の性能を達成している。

ABSTRACT

Monocular 3D object parsing is highly desirable in various scenarios including occlusion reasoning and holistic scene interpretation. We present a deep convolutional neural network (CNN) architecture to localize semantic parts in 2D image and 3D space while inferring their visibility states, given a single RGB image. Our key insight is to exploit domain knowledge to regularize the network by deeply supervising its hidden layers, in order to sequentially infer intermediate concepts associated with the final task. To acquire training data in desired quantities with ground truth 3D shape and relevant concepts, we render 3D object CAD models to generate large-scale synthetic data and simulate challenging occlusion configurations between objects. We train the network only on synthetic data and demonstrate state-of-the-art performances on real image benchmarks including an extended version of KITTI, PASCAL VOC, PASCAL3D+ and IKEA for 2D and 3D keypoint localization and instance segmentation. The empirical results substantiate the utility of our deep supervision scheme by demonstrating effective transfer of knowledge from synthetic data to real images, resulting in less overfitting compared to standard end-to-end training.

研究の動機と目的

• 部分的遮蔽や外観変動に強い3次元オブジェクトパーサーの向上を図る。中間形状コンセプト（例：ポーズ、可視性）による深層監視を活用する。
• 1枚のRGB画像からのロバストな2次元／3次元のセマンティックパーツローカライゼーションおよび可視性推論を実現する。
• ドメイン固有の形状事前知識を活用することで、合成データから実データへの過学習を低減し、一般化性能を向上させる。
• 中間形状コンセプト（例：ポーズ、可視性）がディープ畳み込みニューラルネットワークにおける有効な監視信号として機能することを示す。
• 複数のオブジェクトカテゴリに跨る3次元幾何学的構造の共同学習を可能にする汎用フレームワークを確立する。

提案手法

• 本手法は、オブジェクトのポーズ、2次元／3次元キーポイント位置、パーツの可視性といった中間形状コンセプトを用いて、複数の畳み込み層を深く監視する、新しいCNNアーキテクチャ、DISCOを採用する。
• オブジェクト構造をモデル化するために3次元スケルトン表現を用い、セマンティックパーツを構造的リンクで接続された3次元キーポイントとして定義する。
• 合成トレーニングデータは、制御された遮蔽設定で3次元CADモデルをレンダリングすることで生成され、中間コンセプトの完全な監視が可能になる。
• ネットワークは合成データのみでエンドツーエンドに訓練され、階層的特徴学習を促進するために複数の深さに監視信号を注入する。
• 深層監視フレームワークは実画像へも良好に一般化され、単一タスクおよびトップ層マルチタスクベースラインを上回る性能を示す。
• フォトリッチなレンダリングに依存せず、幾何的・構造的整合性に焦点を当てることで、堅牢な一般化を実現する。

実験結果

リサーチクエスチョン

• RQ1 中間形状コンセプトによる深層監視は、遮蔽や外観変動に強い3次元オブジェクトパーサーの性能向上に寄与するか？
• RQ2 豊富な形状コンセプト監視が施された合成データで訓練した場合、実世界の画像への一般化は効果的に行えるか？
• RQ3 3次元パーサーのマルチタスク学習において、中間特徴への深層監視はトップ層監視と比較してどのように優れているか？
• RQ4 明示的なカテゴリ固有の設計を施さずに、1つのCNNが多様なオブジェクトカテゴリに跨る3次元幾何構造を同時にモデル化できるか？
• RQ5 可視性やポーズといった形状コンセプトは、切断や部分的遮蔽に対するロバストネスをどの程度向上させるか？

主な発見

• DISCOは、KITTI-3D、PASCAL VOC、PASCAL3D+、IKEAを含む複数のベンチマークで、2次元および3次元キーポイントローカライゼーションにおいて最先端の性能を達成した。
• IKEAデータセットでは、PCK@0.1の精度において3D-INNを大きく上回り、生の画像からの3次元構造予測能力に優れていることが示された。
• トレーニングデータにフォトリッチネスが欠如しているにもかかわらず、DISCOは実画像への一般化が効果的であり、標準的なエンドツーエンド学習と比較して過学習が少ないことが確認された。
• DISCOの可視性推論はほとんど正確であり、複数オブジェクトの複雑な遮蔽状況でも遮蔽されたパーツを正しく特定している。
• 定性的な結果から、DISCOは深刻な遮蔽や切断状況下でも2次元／3次元キーポイントのローカライゼーションおよび可視性予測に成功しており、アームレストのような細部構造を捉える点で3D-INNを上回っている。
• 椅子クラスにおける平均リCALL性能においても、DISCOは3D-INNを上回っており、誤った予測が多少あるものの、より正確な3次元形状推定が可能であることが示された。