[論文レビュー] Segmentation and Recovery of Superquadric Models using Convolutional Neural Networks

Jaka Šircelj, Tim Oblak+6 more|arXiv (Cornell University)|Jan 28, 2020

Advanced Vision and Imaging被引用数 6

ひとこと要約

本稿では、3次元深度シーンから回転なしのスーパークワッドリックモデルをセグメンテーションおよび回復するための2段階のCNNベース手法を提案する。まず、マスクRCNNがスーパークワッドリックに類似した構造のインスタンスセグメンテーションを実行する。次に、部分的で、かつ遮蔽されている可能性のあるデータからスーパークワッドリックのパラメータを推定する専用のCNN回帰器を用いる。本手法は、反復的手法と比較して100倍の高速化を達成し、リアルタイム応用が可能である一方で、最先端の再構成品質を達成している。

ABSTRACT

In this paper we address the problem of representing 3D visual data with parameterized volumetric shape primitives. Specifically, we present a (two-stage) approach built around convolutional neural networks (CNNs) capable of segmenting complex depth scenes into the simpler geometric structures that can be represented with superquadric models. In the first stage, our approach uses a Mask RCNN model to identify superquadric-like structures in depth scenes and then fits superquadric models to the segmented structures using a specially designed CNN regressor. Using our approach we are able to describe complex structures with a small number of interpretable parameters. We evaluated the proposed approach on synthetic as well as real-world depth data and show that our solution does not only result in competitive performance in comparison to the state-of-the-art, but is able to decompose scenes into a number of superquadric models at a fraction of the time required by competing approaches. We make all data and models used in the paper available from https://lmi.fe.uni-lj.si/en/research/resources/sq-seg.

研究の動機と目的

• 複雑な3次元深度シーンを解釈可能でパラメータ化されたスーパークワッドリック素子で効率的に表現することに取り組む。
• 複数の物体を含むシーンにおけるスーパークワッドリック回復の計算負荷を低減すること、これは通常、反復的手法では計算が非現実的である。
• インスタンスセグメンテーションとパrameter推定を1つのエンドツーエンドパイプラインで統合したディープラーニングソリューションを構築すること。
• 現実世界のシーンで一般的に見られる不完全または部分的に遮蔽された深度データからのロバストなスーパークワッドリック回復を可能にすること。
• ロボット工学、自律システム、3次元シーン理解の分野において、最先端の反復的スーパークワッドリックフィッティング手法の高速でスケーラブルな代替手段を提供すること。

提案手法

• 2段階のパイプラインを採用する：まず、マスクRCNNが深度画像内のスーパークワッドリックに類似した構造のインスタンスセグメンテーションを実行する。
• セグメンテーションされた領域を、部分的深度データから10個のスーパークワッドリックパラメータ（位置、サイズ、形状係数）を予測するように訓練された専用のCNN回帰器の入力として用いる。
• 不完全またはノイズの多い入力を想定し、遮蔽を制御した合成データ上でCNN回帰器を訓練することで、耐障害性を向上させる。
• 本手法は回転なしのスーパークワッドリックを仮定しており、パラメータ空間を単純化し、推論を高速化できる。
• CNNのインダクティブバイアスを活用して空間的特徴の学習を可能とし、多様な深度シーンに一般化可能である。
• パイプライン全体は、合成データおよび実世界の深度データ（実物の物体からのスキャン済み範囲画像を含む）の両方で訓練および評価されている。

実験結果

リサーチクエスチョン

• RQ1 マスクRCNNに基づくインスタンスセグメンテーションモデルは、部分的に遮蔽されている場合でも、深度画像内のスーパークワッドリックに類似した構造を効果的に同定できるか？
• RQ2 CNN回帰器は、不完全な深度データから、最先端の反復的手法と同等の性能でスーパークワッドリックパラメータを正確に推定できるか？
• RQ3 提案された2段階のCNNパイプラインは、既存の反復的スーパークワッドリックフィッティングアプローチと比較して、顕著に高速な処理時間を達成できるか？
• RQ4 1枚のシーンにスーパークワッドリックが増加するにつれて、本手法の性能はどのように低下するか？
• RQ5 本手法は、ノイズや複雑な幾何学的形状を含むスキャン済み範囲画像を含む実世界の深度データに対しても、どの程度一般化可能か？

主な発見

• 本手法は、すべてのテスト画像においてピクセル単位の再構成差分の平均絶対誤差（MAE）が2.79を達成しており、[12, 10]で報告された最先端手法の1.78 MAEと同等の性能を示している。
• わずかに高い再構成誤差であるが、反復的手法と比較して100倍高速であり、GPU上で1枚の画像を0.11秒で処理している。
• シングルスレッドCPU上でも、本手法は1枚あたり約5秒で実行可能であり、反復的手法の10秒の収束時間を著しく上回っている。
• パラメータ予測の誤差分布は平均を中心に集中しており、位置パラメータでは分散が低く、局在化の整合性が非常に高いことを示している。
• スーパークワッドリックの数が増加するにつれて、誤差分布は重たい尾を示すようになるが、これは重なっているか近接した物体におけるセグメンテーション誤差に起因する。
• マスクRCNNが予測するマスクのIoU分布は、物体数が増えるにつれて著しく歪むようになり、シーンの複雑さが増すとセグメンテーション性能が低下することが確認された。