[論文レビュー] DeepFuse: An IMU-Aware Network for Real-Time 3D Human Pose Estimation from Multi-View Image

Fuyang Huang, Ailing Zeng+3 more|arXiv (Cornell University)|Dec 9, 2019

Human Pose and Action Recognition参考文献 50被引用数 7

ひとこと要約

DeepFuseは、事前に定義されたスケルトンモデルを必要とせず、リアルタイムで3次元人体ポーズ推定を実現する2段階の3次元畳み込みニューラルネットワーク（3D CNN）を提案する。マルチビュー画像とIMUデータを融合するが、モダリティの違い（クaternion対ボクセル／ピクセル）に起因する課題に対処する。マルチチャネルボリューム表現、Random Shutと呼ばれるデータオーギュメンテーション、IMUボーン層による早期融合を導入し、TotalCaptureでは28.9 mmの平均誤差、Human3.6Mではプロトコル1で13.4 mmの平均誤差を達成し、最先端の性能を実現した。

ABSTRACT

In this paper, we propose a two-stage fully 3D network, namely extbf{DeepFuse}, to estimate human pose in 3D space by fusing body-worn Inertial Measurement Unit (IMU) data and multi-view images deeply. The first stage is designed for pure vision estimation. To preserve data primitiveness of multi-view inputs, the vision stage uses multi-channel volume as data representation and 3D soft-argmax as activation layer. The second one is the IMU refinement stage which introduces an IMU-bone layer to fuse the IMU and vision data earlier at data level. without requiring a given skeleton model a priori, we can achieve a mean joint error of $28.9$mm on TotalCapture dataset and $13.4$mm on Human3.6M dataset under protocol 1, improving the SOTA result by a large margin. Finally, we discuss the effectiveness of a fully 3D network for 3D pose estimation experimentally which may benefit future research.

研究の動機と目的

• 異なるモダリティ（クォータニオン対ボクセル／ピクセル）に起因する、IMUとマルチビュー画像データの融合に関する3次元人体ポーズ推定の課題に取り組むこと。
• 事前に定義されたスケルトンモデルを不要とすることで、未知の被験者への一般化を可能とすること。
• 新規のボリューム表現を用いて、マルチビュー入力の幾何的および原始的特徴を保持すること。
• カメラの遮蔽を模擬する新しいデータオーギュメンテーション技術、Random Shutを用いて、モデルの一般化性能を向上させること。
• 特徴レベルでのIMUとビジョンモダリティの深層融合により、リアルタイムかつ高精度な3次元ポーズ推定を実現すること。

提案手法

• マルチビュー画像を幾何的カメラ関係とデータの原始的特徴を保持するマルチチャネルボリュームとして表現すること。
• 訓練中にカメラビューをランダムにマスクする、Random Shutと呼ばれるデータオーギュメンテーション手法を導入し、部分的遮蔽を模擬することで耐性を向上させること。
• ビジョンブランチの最終活性化関数として3次元ソフトアーグマックス層を採用し、ボリューム空間内での微分可能なキーポイント局所化を可能とすること。
• IMUクォータニオンデータをボーン長に依存する特徴に変換するIMUボーン層を提案し、視覚的特徴と共有された3次元空間で早期融合を実現すること。
• 2段階のネットワークを採用：最初にビジョンのみの3次元CNNで初期の3次元ポーズ推定を行い、次に融合されたIMUと視覚的特徴を用いて予測を精緻化するIMUリファインメント段階を実施すること。
• ソフトアーグマックス関数に温度パrameter θを導入し、高活性化ボクセルへの注目度を制御し、消去法実験でθ=3が最適であると特定した。

実験結果

リサーチクエスチョン

• RQ1 事前に定義されたスケルトンモデルに依存せずに、IMUとマルチビュー画像データの早期融合が3次元人体ポーズ推定の精度を向上させることができるか？
• RQ2 マルチチャネルボリューム表現は、2次元ベースの手法と比較して、幾何的情報の保持と3次元ポーズ推定の向上にどの程度有効であるか？
• RQ3 Random Shutと呼ばれるデータオーギュメンテーション技術は、部分的カメラ遮蔽下でもモデルの一般化性能を向上させるか？
• RQ4 完全な3次元畳み込みニューラルネットワークにおけるキーポイント局所化に、3次元ソフトアーグマックスがハードアーグマックスや全結合層による直接回帰と比較して、どの程度優れているか？
• RQ5 ボリューム入力とソフトアーグマックスを備えた完全な3次元CNNは、2次元またはハイブリッドアプローチと比較して、収束が速く、性能が優れているか？

主な発見

• DeepFuseはTotalCaptureデータセットで28.9 mmの平均関節誤差、Human3.6Mではプロトコル1で13.4 mmの平均誤差を達成し、先行研究の最先端手法を顕著に上回った。
• マルチチャネルボリューム表現は、TotalCaptureとHuman3.6Mの両方で2次元ソフトアーグマックスベースラインと比較して、誤差をそれぞれ23.6%および28.9%削減した。
• Random Shutは、特に部分的に撮影されたフレームにおいてモデルの一般化性能を向上させたことが、消去法実験で示された。
• 3次元ソフトアーグマックス層は、ハードアーグマックス（39.7 mm）および直接回帰（45.2 mm）と比較して優れた性能を示し、誤差は32.7 mmであった。
• モデルは急速に収束し、最初のエポックで最先端の性能に到達した。これは、3次元ボリューム表現が冗長なマッピングを伴わずに空間構造を効果的に捉えていることを示している。
• ソフトアーグマックスにおける最適な温度パrameter θ=3は、高活性化ボクセルへの注目度と過学習の防止の両立を図った。θを1から100の範囲で変化させた消去法実験でも同様の結果が得られた。