[論文レビュー] DeepContext: Context-Encoding Neural Pathways for 3D Holistic Scene Understanding

Yinda Zhang, Mingru Bai+3 more|arXiv (Cornell University)|Mar 16, 2016

Human Pose and Action Recognition参考文献 43被引用数 10

ひとこと要約

この論文では、学習可能なシーンテンプレートを用いて一貫したシーンの文脈を符号化する3次元畳み込みニューラルネットワークであるDeepContextを提案する。単一の深度画像からの3次元的全体的シーン理解を向上させる。入力シーンを標準的な3次元テンプレートにあわせ、オブジェクトの存在と位置を同時に推論する二重パスウェイネットワークを用いることで、SUN-RGBDで最先端の性能を達成。1回の順方向プロパゲーションで複数のオブジェクトを処理し、3次元検出精度とレイアウト推定の両面で先行手法を上回る。

ABSTRACT

While deep neural networks have led to human-level performance on computer vision tasks, they have yet to demonstrate similar gains for holistic scene understanding. In particular, 3D context has been shown to be an extremely important cue for scene understanding - yet very little research has been done on integrating context information with deep models. This paper presents an approach to embed 3D context into the topology of a neural network trained to perform holistic scene understanding. Given a depth image depicting a 3D scene, our network aligns the observed scene with a predefined 3D scene template, and then reasons about the existence and location of each object within the scene template. In doing so, our model recognizes multiple objects in a single forward pass of a 3D convolutional neural network, capturing both global scene and local object information simultaneously. To create training data for this 3D network, we generate partly hallucinated depth images which are rendered by replacing real objects with a repository of CAD models of the same object category. Extensive experiments demonstrate the effectiveness of our algorithm compared to the state-of-the-arts. Source code and data are available at http://deepcontext.cs.princeton.edu.

研究の動機と目的

• 下流と上流の分離されたシーン理解パイプラインの制限に対処する。これらは計算コストが高く、ノイズに左右されやすい。
• グローバルな文脈とローカルな外観を1つのディープニューラルネットワークに統合することで、効率的でエンドツーエンドの3次元シーン理解を実現する。
• 3次元シーン理解におけるデータ不足を克服するため、実際のオブジェクトをCADモデルに置き換えることで、現実的な訓練データを合成する。
• 手動で定義された空間的事前知識に頼らず、柔軟でデータ駆動型のオブジェクト間の文脈的関係をモデル化する。
• 色と深度の両方を用いる手法よりも、深度入力のみで、より強固で高精度の3次元オブジェクト検出とレイアウト推定を達成する。

提案手法

• 本手法は、機能的な屋内領域（例：就寝、オフィス、リラクゼーション）の標準的な3次元レイアウトであるシーンテンプレートを用い、固定次元の文脈を表現する。
• 変換ネットワークは、推定された回転と平行移動を用いて、入力深度画像を最も近いシーンテンプレートにあわせることで、文脈推論のための構造的初期化を提供する。
• 3次元文脈ニューラルネットワークは、2つの並列パスウェイで入力されたあわせられたシーンを処理する：グローバル文脈を扱う包括的シーンパスウェイと、3次元ROIプーリングを用いたローカルオブジェクト特徴を扱うオブジェクトパスウェイ。
• ネットワークは、ローカルおよびグローバル特徴を活用して、1回の順方向プロパゲーションでオブジェクトの存在（分類）と3次元バウンディングボックスの回帰（位置）を同時に予測する。
• 合成訓練データは、SUN-RGBDのシーンから同じカテゴリのオブジェクトをCADモデルに置き換えることで生成され、シーンのレイアウトとごみの状態は保持されるが、オブジェクトの外観は変化する。
• モデルは合成データで事前学習され、実データで微調整される。これにより、直接実データで学習する場合に失敗する収束が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワークは、ローカルな外観の手がかりを上回る3次元シーン文脈を効果的に符号化できるか？
• RQ2 オブジェクト数が不明な可変次元のシーン表現を、固定アーキテクチャの3次元CNN内でどのようにモデル化できるか？
• RQ3 データから自動的に文脈を学習できるか？手動で定義されたオブジェクト間関係に依存しないか？
• RQ4 限られた実データにおいて、合成データ拡張が3次元シーン理解の一般化性能をどの程度向上させるか？
• RQ5 シーンテンプレートと二重パスウェイ特徴学習の統合が、検出精度とレイアウト推定に与える影響はいかほどか？

主な発見

• 提案手法は、SUN-RGBDデータセット上で3次元検出の平均平均精度（mAP）が71.02%に達し、先行手法COG（66.93%）を顕著に上回った。
• リファインメント後、レイアウト推定誤差は最大50%まで低減した。例えば、就寝エリアでは床レイアウト誤差が初期状態の0.30mから推定値の0.10mに低下した。
• ニューラル回帰に基づく変換ネットワークは、ICPベースの点群アライメントを上回り、対称性を考慮した場合の回転精度が96.3%（非対称時75.6%）を達成した。
• 真値のテンプレートアライメントを用いることでmAPが2.19%向上し、真値のテンプレート分類を追加することでさらに1.52%向上した。
• オブジェクト検出において、就寝エリアでは100.0%、リラクゼーションエリアでは94.3%の精度を達成し、複雑なレイアウトでも優れた性能を示した。
• 実世界のシーンへの一般化性能が高く、定量的結果ではごみの多い環境でも複数のオブジェクトの正確な検出と局所化が可能であることが示された。