[論文レビュー] Motion Prediction Using Temporal Inception Module

Tim Lebailly, Sena Kiciroglu+3 more|arXiv (Cornell University)|Oct 6, 2020

Human Pose and Action Recognition参考文献 34被引用数 7

ひとこと要約

本稿では、入力シーケンス長に比例するカーネルサイズを持つ畳み込みカーネルを用いて、複数の時間スケールで人体の動きの軌跡を符号化する時系列インセプションモジュール（TIM）を提案する。これにより、長期的・短期的両方の動き予測が向上する。これらのマルチスケール埋め込みをグラフ畳み込みネットワーク（GCN）と組み合わせることで、Human3.6MおよびCMU Mocapデータセットで最先端の性能を達成し、特に1000msまでの長期予測が顕著に向上する。

ABSTRACT

Human motion prediction is a necessary component for many applications in robotics and autonomous driving. Recent methods propose using sequence-to-sequence deep learning models to tackle this problem. However, they do not focus on exploiting different temporal scales for different length inputs. We argue that the diverse temporal scales are important as they allow us to look at the past frames with different receptive fields, which can lead to better predictions. In this paper, we propose a Temporal Inception Module (TIM) to encode human motion. Making use of TIM, our framework produces input embeddings using convolutional layers, by using different kernel sizes for different input lengths. The experimental results on standard motion prediction benchmark datasets Human3.6M and CMU motion capture dataset show that our approach consistently outperforms the state of the art methods.

研究の動機と目的

• 入力シーケンス内の多様な時間スケールを活用することで、人体動き予測を向上させること。
• 従来のRNNおよびDCTベースの手法が長期的な動きパターンを適応的に符号化できないという限界を解消すること。
• すべての動作に対して再トレーニングなしに動作固有のチューニングを必要としない、学習可能でエンド・ツー・エンドでトレーニング可能なフレームワークを設計すること。
• 最近の高周波数ダイナミクスと過去の低周波数動きパターンの両方を統合することで、長期予測の性能向上を実証すること。

提案手法

• 時系列インセプションモジュール（TIM）は、部分シーケンス長 $M_j$ に比例するカーネルサイズを持つ複数の畳み込みフィルタを適用し、異なる時間スケールでの動きを捉える。
• 入力シーケンスは可変長の部分シーケンス（$M_j$）に分割され、それぞれが専用の畳み込みフィルタで独立して処理され、マルチスケール埋め込みが生成される。
• 異なる時間スケールからの埋め込みは連結され、動き予測のためのグラフ畳み込みネットワーク（GCN）に供給される。
• ネットワークはシーケンス・ツー・シーケンス損失を用いてエンド・ツー・エンドで訓練され、残差接続によりトレーニングの安定化と長時間予測の性能向上が図られる。
• カーネルサイズは入力長に比例してスケーリングされ（例：カーネルサイズ ~$M_j/3$）、各時間スケールに適切な受容 field を確保する。
• このフレームワークは動作に依存せず、再トレーニングなしに多様な動きタイプに一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 固定受容フィールドを持つモデルを上回る、マルチスケール時間符号化が長期人体動き予測を改善できるか？
• RQ2 入力長に対するカーネルサイズの選択が、さまざまな時間予測範囲における予測精度に与える影響は？
• RQ3 短期的高周波数ダイナミクスと長期的低周波数動きパターンの両方を統合することで、一般化性能が向上するか？
• RQ4 単一の統合アーキテクチャが、多様な動きタイプにおいて、動作固有のアーキテクチャやDCTベースのベースラインを上回れるか？

主な発見

• TIMフレームワークは、Human3.6Mデータセットで最先端の性能を達成し、1000ms予測での平均誤差が55.7mmにまで低下、先行手法を上回る。
• 一定のカーネルサイズよりも、比例的カーネルサイズ（例：~$M_j/3$）を用いることで性能が向上し、特に長期予測で顕著である。
• 5-10-15モデル（部分シーケンス長5, 10, 15）は、1000msでの「Discussion」タスクで97.1mmの誤差を記録し、5-10モデル（94.6mm）およびベースラインを著しく上回る。
• 5-10-15モデルは、5-10モデルと比較して平均で5.1mmの長期予測精度向上を達成し、より長いコンテキストの利点を確認した。
• アブレーションスタディにより、比例的カーネルサイズと可変長部分シーケンスが、特に1000msでの性能向上に不可欠であることが確認された。
• 全動作種別で優れた性能を発揮し、モデルの動作に依存しない一般化能力が実証された。