[論文レビュー] A Neural Network Approach to Missing Marker Reconstruction.

Taras Kucherenko, Hedvig Kjellström|arXiv (Cornell University)|Mar 7, 2018

Human Pose and Action Recognition参考文献 22被引用数 10

ひとこと要約

本論文では、人体運動の時間的・空間的相関を活用することで、光学モーショングラップチャプチャー（motion capture）データにおける欠落したマーカー位置を再構成するニューラルネットワーク手法を提案する。CMU Mocapデータセットを用いたLSTMベースおよびウィンドウベースのモデルでは、最先端技術比で再構成精度が20%から400%向上した。

ABSTRACT

Optical motion capture systems have become a widely used technology in various fields, such as augmented reality, robotics, movie production, etc. Such systems use a large number of cameras to triangulate the position of optical markers. These are then used to reconstruct the motion of rigid objects or human articulated bodies, to which the markers are attached. The marker positions are estimated with high accuracy. However, especially when tracking articulated bodies, a fraction of the markers in each timestep is missing from the reconstruction. In this paper, we propose to use a neural network approach to learn how human motion is temporally and spatially correlated, and reconstruct missing markers positions through this model. We experiment with two different models, one LSTM-based and one window-based. Experiments on the CMU Mocap dataset show that we outperform the state of the art by 20\% - 400\%.

研究の動機と目的

• 光学モーショングラップチャプチャー系におけるマーカー欠落データの課題に対処すること。特に、人体運動トラッキング時における課題に焦点を当てる。
• 人体運動の時間的および空間的相関を学習することで、欠落したマーカー位置の再構成を改善すること。
• 多様な運動シーケンスに一般化可能なニューラルネットワークモデルの開発および評価を行うこと。
• 既存の最先端手法を上回るマーカー再構成精度を達成すること。

提案手法

• 時間的依存性をモデル化するために、時間ステップにわたるマーカー軌跡にLSTM（再帰的ニューラルネットワーク）を用いる。
• 局所的な時間ウィンドウの運動データを処理するウィンドウベースのニューラルネットワークを用いて、欠落マーカーを予測する。
• 観測されたマーカー位置から運動パターンを学習するために、CMU Mocapデータセット上でエンドツーエンドに訓練する。
• 入力特徴量には、各時間ステップにおける可視マーカーの3次元位置を含み、学習中に欠落マーカーはマスク処理を行う。
• 文脈的な運動パターンに基づいて、欠落マーカーの再構成3次元位置を出力する。
• 両モデルは、平均マーカー誤差などの標準的なモーショングラップチャー再構成指標を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、人体運動の時間的・空間的相関を効果的に学習し、欠落マーカーを再構成できるか？
• RQ2 LSTMベースとウィンドウベースのアーキテクチャは、欠落マーカー位置の再構成においてどのように比較されるか？
• RQ3 提案手法は、ベンチマークデータセット上で既存の最先端手法をどの程度上回るか？
• RQ4 モデルはCMU Mocapデータセット内の多様な運動シーケンスに一般化可能か？

主な発見

• 提案手法は、CMU Mocapデータセットにおいて、最先端技術比で再構成精度が20%から400%向上した。
• LSTMベースのモデルは、運動シーケンスにおける長距離時間的依存性を強く捉えることができた。
• ウィンドウベースのモデルは、特に局所的運動パターンの処理において競争力のある結果を示した。
• 両モデルとも、歩行、走行、および複雑な上半身運動を含む多様な運動タイプに良好に一般化した。
• 運動相関を学習することで再構成品質が著しく向上することが示された。
• 高い欠落率下でも、再構成誤差を効果的に低減できた。