[論文レビュー] A Multi-view RGB-D Approach for Human Pose Estimation in Operating Rooms

Abdolrahim Kadkhodamohammadi, Afshin Gangi+2 more|arXiv (Cornell University)|Jan 25, 2017

Human Pose and Action Recognition参考文献 37被引用数 4

ひとこと要約

本稿では、手術室における3次元人体ポーズ推定のためのマルチビューRGB-Dアプローチを提案する。畳み込みニューラルネットワーク（ConvNets）を用いて部位検出を行い、3次元のペairワイズ制約を用いて運動学的整合性を強制する。3台の同期カメラからの深度データを統合し、ランダムフォレストを用いて誤検出をフィルタリングすることで、従来の最先端手法に比べて顕著な精度向上を達成した。特に、多人数、遮蔽、視覚的にごみだらけの手術室環境において顕著である。

ABSTRACT

Many approaches have been proposed for human pose estimation in single and multi-view RGB images. However, some environments, such as the operating room, are still very challenging for state-of-the-art RGB methods. In this paper, we propose an approach for multi-view 3D human pose estimation from RGB-D images and demonstrate the benefits of using the additional depth channel for pose refinement beyond its use for the generation of improved features. The proposed method permits the joint detection and estimation of the poses without knowing a priori the number of persons present in the scene. We evaluate this approach on a novel multi-view RGB-D dataset acquired during live surgeries and annotated with ground truth 3D poses.

研究の動機と目的

• 表面の視覚的類似性や手術着のテクスチャレスさのため、標準的なRGB手法が失敗する手術室における3次元人体ポーズ推定の課題に対処すること。
• 事前に存在する人数を知らずに、複数の臨床職員のポーズを検出・推定するシステムを開発すること。
• 外見ベースのマッチング失敗を克服するため、深度データを特徴の向上だけでなく、3次元点のバックプロジェクションとマルチビュー対応関係の強化にも活用すること。
• 信頼度マップ、深度再投影コスト、マルチビュー整合性を統合して、3次元部位位置を同時に最適化することで、局所化精度を向上させること。

提案手法

• 大規模な受容 field を持つことで文脈的情報を組み込むことで、RGB-Dデータ上でトレーニングされたConvNetベースの部位検出器を各ビューで用い、身体部位を検出する。
• 3次元ペアワイズ変形モデルを用いて、3次元空間内で身体部位間の運動学的制約を直接強制し、混雑したシーンにおける関節の一貫性を向上させる。
• 手術室固有の特徴を用いてトレーニングされたランダムフォレストを用い、各ビューごとの誤検出スケルトン候補をフィルタリングする事前分布を学習する。
• 深度マップを用いて検出結果を3次元にバックプロジェクションすることで、点が1つのビューでのみ可視であっても3次元対応関係を確立する。
• 4段階の反復ステップを用いて、検出信頼度、深度再投影コスト、マルチビュー証拠を統合する新しいエネルギー関数を最適化することで、複数ビュー間での3次元部位位置を最適化する。
• 50 cm、10 cm、2 cm、1 cm のステップサイズを用いた粗いものから細かい探索戦略を採用することで、3次元空間を効率的に探索する。

実験結果

リサーチクエスチョン

• RQ1 深度データは、外見特徴の向上を超えて、手術室における3次元人体ポーズ推定を改善できるか？
• RQ2 事前に人数を知らない状態で、マルチビューRGB-Dデータを用いて複数人のポーズを信頼性高く検出・推定する方法は何か？
• RQ3 遮蔽やごみだらけの手術室環境において、3次元運動学的制約を強制することで、ポーズ推定の精度がどの程度向上するか？
• RQ4 深度ベースの再投影コストは、複数ビュー間での3次元ポーズ最適化をどの程度効果的にガイドするか？

主な発見

• ラベル投票を用いる場合、1つまたは2つの視点で検出されたスケルトンでは3次元部位局所化誤差を最大10 cmまで低減し、3つの視点で検出されたスケルトンでは約3 cm低減した。これは検出信頼性の向上を示している。
• マルチビュー最適化により、1つのビューでのみ検出されたスケルトンに対しても局所化誤差が低減された。これは、深度ベースの再投影コストと信頼度統合の有効性を示している。
• 深度ベースの再投影コスト項を除外すると、性能が著しく低下した。これは、正確な3次元ポーズ精緻化において、この項が極めて重要な役割を果たしていることを示している。
• マルチビュー統合後に、高精度な3次元スケルトン検出が達成された。ランダムフォレストの事前分布により、誤検出候補のフィルタリングが顕著に検出品質を向上させた。
• 最適化関数に3次元ペアワイズ制約を組み込むことで、特に多人数および遮蔽状況下で、より一貫性があり正確な身体配置が得られた。
• 本手法は、シーンに存在する人数を事前に知らずに、同時に部位検出とポーズ推定を実行する最初のマルチビューRGB-D手法である。