[論文レビュー] DA-RNN: Semantic Mapping with Data Associated Recurrent Neural Networks

Xiang Yu, Dieter Fox|arXiv (Cornell University)|Mar 9, 2017

Human Pose and Action Recognition参考文献 29被引用数 6

ひとこと要約

本稿では、時間的データ関連を活用して、可視シーン部分における空間的に一貫した再帰的推論を可能にする、データ関連付き再帰ニューラルネットワーク（DA-RNN）を提案する。この手法により、RGB-D動画からの3次元シーン再構築とセマンティックラベリングを統合的に実行する。RNNに統合されたセマンティックラベルをKinectFusion再構築フレームワークに組み込むことで、実データおよび合成データの両方で、先行手法を上回る最先端の性能を達成する。

ABSTRACT

3D scene understanding is important for robots to interact with the 3D world in a meaningful way. Most previous works on 3D scene understanding focus on recognizing geometrical or semantic properties of the scene independently. In this work, we introduce Data Associated Recurrent Neural Networks (DA-RNNs), a novel framework for joint 3D scene mapping and semantic labeling. DA-RNNs use a new recurrent neural network architecture for semantic labeling on RGB-D videos. The output of the network is integrated with mapping techniques such as KinectFusion in order to inject semantic information into the reconstructed 3D scene. Experiments conducted on a real world dataset and a synthetic dataset with RGB-D videos demonstrate the ability of our method in semantic 3D scene mapping.

研究の動機と目的

• 既存の3次元シーン再構築手法が物体のセマンティック情報を提供しないという制限に対処すること。
• 再帰的推論を通じて時間的および空間的整合性を活用することで、RGB-D動画におけるセマンティックラベリングの正確性を向上させること。
• 現在観測中のシーン部分にのみ再帰的推論を実行する、コンactでメモリ効率の良いRNNアーキテクチャを開発すること。
• KinectFusionを用いた密度の高い3次元再構築とセマンティックラベリングを統合し、3次元シーンに対する密度的かつ一貫性のあるセマンティックラベリングを可能にすること。
• 物体インスタンス検出や素材認識を含む、さまざまなセマンティックラベリングタスクに適用可能な柔軟なフレームワークを提供すること。

提案手法

• 入力RGB-Dフレームの各ピクセルに対応するデータ関連付き再帰ユニット（DA-RU）を持つ、新しい再帰ニューラルネットワークアーキテクチャを導入する。
• マッピングプロセスからのデータ関連に基づき、フレーム間でDA-RUの時間的接続を確立し、情報の流れにおける空間的一致性を保証する。
• DA-RUの隠れ状態に対して重み付き移動平均更新ルールを採用し、特徴の効果的時間的集約を可能にする。
• RNNのピクセル単位のセマンティック予測をKinectFusionの3次元ボクセルマップに統合し、セマンティックラベル付き3次元再構築を生成する。
• データ関連（例：KinectFusionからのもの）を用いて、フレーム間で対応するピクセルを動的にリンクし、メモリを食いすぎる固定3次元グリッドRNNを回避する。
• 各フレームにおけるセマンティックセグメンテーションに完全畳み込みネットワーク（FCNs）を適用し、RNNが再帰的記憶を用いて時間経過とともに予測を改善する。

実験結果

リサーチクエスチョン

• RQ1 時間的依存性を活用することで、再帰的ニューラルネットワークがRGB-D動画におけるセマンティックラベリングの正確性を効果的に向上させられるか。
• RQ2 大規模な3次元シーンに適用する場合、再帰的推論をどのようにメモリ効率的に実現できるか。
• RQ3 3次元マッピングシステムからのデータ関連を活用することで、動的かつ空間的に一貫したフレーム間の再帰ユニット間接続を構築できるか。
• RQ4 RNNベースのセマンティックラベリングを3次元再構築と統合することで、3次元セマンティックマップの正確性と一貫性がどの程度向上するか。
• RQ5 提案されたフレームワークは、物体クラス認識を越えた他のセマンティックラベリングタスクにも一般化可能か。

主な発見

• RGB-D Sceneデータセットにおける3次元ポイントラベリングでは、DA-RNNは平均精度95.2%、平均再現率92.4%を達成し、HMP2D+3Dなどの先行手法を両指標で上回った。
• 合成データセットであるShapeNet Sceneでは、ボウルラベリングにおいて95.3%の精度と91.0%の再現率を達成し、新しい物体形状への一般化能力が優れていることが示された。
• 5フレーム/秒のリアルタイム性能を達成し、オンラインでのセマンティック3次元再構築が可能になった。
• ラベリング誤りの主な原因は、形状の類似性（例：マグカップとサイダー缶）およびまれなデータ関連エラー（例：物体の底面をテーブルと誤認する）である。
• 床面やテーブル上物体を除去するヒューリスティックな後処理を一切必要とせず、ベースライン手法を上回った。
• 著者らは、コードおよびピクセル単位のセマンティックラベルを備えた新しい合成データセットを公開し、今後の3次元セマンティックマッピング研究を支援した。