[論文レビュー] MeteorNet: Deep Learning on Dynamic 3D Point Cloud Sequences

Xingyu Liu, Mengyuan Yan+1 more|arXiv (Cornell University)|Oct 21, 2019

Human Pose and Action Recognition参考文献 35被引用数 16

ひとこと要約

MeteorNetは、2つのグループ化手法—直接的およびチェーンド・フロー・グループ化—を用いた空間時間的近傍集約により、グリッド量子化を伴わずに生の動的3D点群シーケンスを直接処理する、深層学習アーキテクチャの新規なものである。この手法は、Synthia、KITTI、FlyingThings3Dデータセットにおいて、アクション認識、セマンティックセグメンテーション、シーンフロー推定の各タスクで最先端の性能を達成している。

ABSTRACT

Understanding dynamic 3D environment is crucial for robotic agents and many other applications. We propose a novel neural network architecture called $MeteorNet$ for learning representations for dynamic 3D point cloud sequences. Different from previous work that adopts a grid-based representation and applies 3D or 4D convolutions, our network directly processes point clouds. We propose two ways to construct spatiotemporal neighborhoods for each point in the point cloud sequence. Information from these neighborhoods is aggregated to learn features per point. We benchmark our network on a variety of 3D recognition tasks including action recognition, semantic segmentation and scene flow estimation. MeteorNet shows stronger performance than previous grid-based methods while achieving state-of-the-art performance on Synthia. MeteorNet also outperforms previous baseline methods that are able to process at most two consecutive point clouds. To the best of our knowledge, this is the first work on deep learning for dynamic raw point cloud sequences.

研究の動機と目的

• グリッドベースの量子化を回避し、それに伴う誤差を避けること。
• 時間的ダイナミクスを有する不規則で非一様な3D点群シーケンスからの学習の課題に対処すること。
• 各点のための効果的な空間時間的近傍を構築することで、時間にわたる特徴学習を強化すること。
• アクション認識、セマンティックセグメンテーション、シーンフロー推定といった複数の3D認識タスクにおいて、従来のグリッドベースおよび2フレーム手法を上回る性能を達成すること。

提案手法

• 共有マルチレイヤーパーセプトロン（MLP）とマックスプーリングを用いて、空間時間的近傍からの特徴を集約する学習可能なニューラルネットワークユニット「Meteorモジュール」を提案する。
• 2つの近傍構築戦略を導入する：直接的グループ化（時間経過に伴い半径を増加）とチェーンド・フローグルーピング（事前に推定されたシーンフローを用いてフレーム間の動きを追跡）。
• 複数のMeteorモジュールをスタックすることで、次第に大きな空間時間的文脈からの情報を階層的に集約する。
• ボクセルグリッドに変換せず、生の点群を直接処理することで、グリッドベース手法に内在する量子化誤差を回避する。
• 近傍内の点々に共有MLPを適用し、マックスプーリングを用いて局所特徴を各点の表現に集約する。
• 標準的なバックプロパゲーションを用いたエンドツーエンド学習により、特徴学習と下流タスクヘッドの共同最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 グリッド量子化を伴わず、生の非構造的3D点群シーケンスから深層ニューラルネットワークが効果的に表現を学習できるか？
• RQ2 直接的グループ化とチェーンド・フローグルーピングという異なる空間時間的近傍構築戦略が、性能と効率に与える影響は何か？
• RQ3 1つのアーキテクチャが、アクション認識、セマンティックセグメンテーション、シーンフロー推定といった多様な3D認識タスクで最先端の性能を達成できるか？
• RQ4 入力フレーム数を増やすことで、動的3Dシーケンス理解タスクの性能が向上するか？
• RQ5 チェーン化における流れ推定の誤差伝搬と疎な点群処理に対して、モデルはどのように対処するか？

主な発見

• MeteorNetは、2フレームしか処理しない従来手法を上回り、Synthiaのセマンティックセグメンテーションベンチマークで最先端の性能を達成した。
• KITTIのシーンフローデータセットでは、MeteorNet-flowに4つの入力フレームを用いることで、平均終点誤差（EPE）が0.251にまで低下し、FlowNet3Dの0.287を上回った。
• チェーンド・フローグルーピングのバージョンはKITTIで低い平均EPE（0.251）を達成したが、直接的グループ化のバージョンは低い標準偏差（0.210）を示し、より高いロバストネスを示している。
• MSRAction3Dのアクション認識データセットでも、従来のベースラインを上回り、人間のアクションシーケンスへの強い一般化能力を示した。
• 入力フレーム数を増やすことで性能が一貫して向上し、モデルにおけるより長い時間的文脈の利点を裏付けた。
• 可視化結果から、特にチェーンド・フローグルーピングを用いた場合、予測されたシーンフローが真値とよく一致しており、正確な動きモデリングが可能であることが示された。