[論文レビュー] View Invariant Human Body Detection and Pose Estimation from Multiple Depth Sensors

Walid Bekhtaoui, Ruhan Sa+5 more|arXiv (Cornell University)|May 8, 2020

Human Pose and Action Recognition参考文献 31被引用数 6

ひとこと要約

本稿では、複数の深度センサーからの点群を入力レベルで統合することで、困難な屋内環境におけるロバスト性を向上させるエンドツーエンドのマルチピアソン3次元人体ポーズ推定ネットワーク、Point R-CNNを提案する。点群を処理の前段階で連結することで、段階的なモデルや一般化性能に優れた手法が得られ、カメラ障害、視点変化、ごみの多いシーンにおいても優れた性能を発揮し、CMU PanopticおよびMVORデータセットにおいて最先端のベースラインを上回る。

ABSTRACT

Point cloud based methods have produced promising results in areas such as 3D object detection in autonomous driving. However, most of the recent point cloud work focuses on single depth sensor data, whereas less work has been done on indoor monitoring applications, such as operation room monitoring in hospitals or indoor surveillance. In these scenarios multiple cameras are often used to tackle occlusion problems. We propose an end-to-end multi-person 3D pose estimation network, Point R-CNN, using multiple point cloud sources. We conduct extensive experiments to simulate challenging real world cases, such as individual camera failures, various target appearances, and complex cluttered scenes with the CMU panoptic dataset and the MVOR operation room dataset. Unlike most of the previous methods that attempt to use multiple sensor information by building complex fusion models, which often lead to poor generalization, we take advantage of the efficiency of concatenating point clouds to fuse the information at the input level. In the meantime, we show our end-to-end network greatly outperforms cascaded state-of-the-art models.

研究の動機と目的

• 手術室や監視システムなどのマルチカメラ屋内環境における、視点に依存しない人体検出および3次元ポーズ推定の課題に対処すること。
• 点群を用いた単純で効率的な入力レベルの統合戦略を提案することで、複雑なマルチセンサー統合モデルの一般化性能の低さを克服すること。
• マルチピアソン3次元オブジェクト検出とキーポイント回帰を同時に実行するエンドツーエンドのディープラーニングフレームワークを構築し、精度とロバスト性を向上させること。
• 実世界の故障シナリオ（カメラ停止、視点変化、ごみの多い背景）を想定し、実データセットを用いて評価すること。

提案手法

• 複数の深度センサーからの点群を、3次元畳み込みニューラルネットワークに供給する前に、入力レベルで連結することで統合し、複雑な後段階や特徴レベルの統合を回避する。
• Point R-CNNは、ボクセル化された点群入力を用いて、3次元人物検出と3次元キーポイント回帰を同時に実行するエンドツーエンドのアーキテクチャである。
• ボクセル化された点群に対して領域提案ネットワーク（RPN）を適用し、3次元オブジェクトの候補を生成した後、分離された人体点群上でキーポイント回帰を実行する。
• データ拡張を用いてカメラ障害や視点変化を模擬し、CMU PanopticおよびMVORデータセットでモデルを訓練および微調整する。
• 点群処理にPointNetスタイルの演算を活用し、事前処理なしに空間変換を組み込むことで特徴学習を向上させる。
• 標準的な指標を用いて評価する：センチメートル単位の平均キーポイント位置誤差（MPJPE）および10cm以内の精度。

実験結果

リサーチクエスチョン

• RQ1 複数センサーの点群を入力レベルで統合することは、複雑な後段統合や特徴レベル統合モデルを上回る性能を発揮するのか？
• RQ2 本手法のエンドツーエンドネットワークは、カメラ障害や視点変化といった実世界の課題において、どれほど一般化性能を発揮するのか？
• RQ3 手術室のような複雑な背景を有するごみの多い屋内シーンでも、本手法は高い精度を維持するのか？
• RQ4 段階的なモデルと比較して、エンドツーエンドアーキテクチャは、検出およびキーポイント回帰の性能においてどのように差をつけるのか？

主な発見

• CMU Panopticデータセットでは、Point R-CNNは平均キーポイント距離10.24 cm、10cm以内の精度59.4%を達成し、ベースライン[1]+[16]手法（13.80 cm、33.1%）を上回った。
• 視点およびアクターの一般化テストでは、本手法は平均距離9.33 cm、10cm以内の精度65.64%を達成したのに対し、ベースラインは10.90 cmおよび53.6%であった。
• ごみの多いシーンを含む挑戦的なMVORデータセットでは、Point R-CNNは平均距離17.70 cm、10cm以内の精度26.1%を達成し、ベースライン（24.96 cm、15.4%）を顕著に上回った。
• エンドツーエンドのPoint R-CNNモデルは、CMU Panopticデータセットで90.54%のAP（平均精度）を達成したのに対し、段階的ベースラインは80.65%であった。
• 図7の定性的な結果では、多様なシーンにおいて一貫性があり正確なポーズ推定が行われており、赤（予測）と緑（真値）のスケルトンが密接に一致している。
• カメラ障害のシミュレーションにおいても、本手法は最大50%のカメラがランダムに無効化された状況でも高い性能を維持した。