[論文レビュー] A Variational Time Series Feature Extractor for Action Prediction

Maxime Chaveroche, Adrien Malaisé+3 more|arXiv (Cornell University)|Jul 6, 2018

Human Pose and Action Recognition参考文献 20被引用数 3

ひとこと要約

本論文は、ウェアラブルモーションキャプチャデータからの行動予測および分類のための特徴抽出を改善する、変分オートエンコーダーに基づく深層生成モデルである変分時系列特徴抽出器（VTSFE）を提案する。ノイズモデリングの向上、潜在空間遷移ダイナミクスの単純化、および変分下界の tightened による改善を通じて、VTSFE は時間的ダイナミクスのより優れた符号化を達成する。特に高振幅運動において顕著であり、VAE や VAE-DMP よりも特徴品質および計算効率で優れているが、再構成能力は依然として限定的である。

ABSTRACT

We propose a Variational Time Series Feature Extractor (VTSFE), inspired by the VAE-DMP model of Chen et al., to be used for action recognition and prediction. Our method is based on variational autoencoders. It improves VAE-DMP in that it has a better noise inference model, a simpler transition model constraining the acceleration in the trajectories of the latent space, and a tighter lower bound for the variational inference. We apply the method for classification and prediction of whole-body movements on a dataset with 7 tasks and 10 demonstrations per task, recorded with a wearable motion capture suit. The comparison with VAE and VAE-DMP suggests the better performance of our method for feature extraction. An open-source software implementation of each method with TensorFlow is also provided. In addition, a more detailed version of this work can be found in the indicated code repository. Although it was meant to, the VTSFE hasn't been tested for action prediction, due to a lack of time in the context of Maxime Chaveroche's Master thesis at INRIA.

研究の動機と目的

• ウェアラブルセンサデータからの全身モーショングレースシーケンスのための頑健な特徴抽出器を開発し、正確な行動認識および予測を可能にする。
• 従来のモデルの限界（たとえば、時間的ダイナミクスの符号化が不十分で、計算コストが高いため）を解消するため、変分推論および潜在空間モデリングの改善を図る。
• 潜在空間における時間的ダイナミクスの表現を向上させ、類似した行動（例：「前屈み」対「強く前屈み」）に対して滑らかで一貫性のある軌道を保証する。
• モデルを事前学習してからオンライン推論を可能にする。これにより、リアルタイムのロボットインタラクションやアシストシステムに適した。
• 再現可能性および今後の開発を促進するため、TensorFlow で実装されたオープンソースでモジュラーな実装を提供する。

提案手法

• VTSFE モデルは、ウェアラブルセンサからの時系列モーショングレースデータを符号化するための構造的潜在空間を備えた変分オートエンコーダー（VAE）フレームワークを用いる。
• 潜在空間における加速度を制約する単純化された遷移モデルを導入し、生成された軌道の時間的滑らかさと現実性を向上させる。
• 後方分布近似の品質と学習安定性を向上させるために、よりタイトな変分下界を導出する。
• ノイズ推論モデルを強化し、モーショングレースデータ内の不確実性をよりよく捉えることで、より頑健な潜在表現を実現する。
• エンコーダーは入力モーショングレースシーケンスを低次元の潜在空間にマップし、デコーダーは潜在コードから元のシーケンスを再構成する。
• モデルは、近似後方分布推論のためのモンテカルロサンプリングを用いて学習され、再構成誤差と KL 散乱項を含む損失関数が使用される。

実験結果

リサーチクエスチョン

• RQ1 改善された潜在空間ダイナミクスモデリングを備えた変分オートエンコーダーは、ウェアラブルモーショングレースデータからの行動認識および予測のためのより情報豊かな特徴を抽出できるか？
• RQ2 VTSFE は、けん制などの高振幅運動において、VAE や VAE-DMP と比較して潜在空間の品質がどのように向上するか？
• RQ3 タイトな変分下界と洗練されたノイズモデルは、類似した行動（例：「前屈み」と「強く前屈み」）に対して一貫性があり滑らかな潜在空間軌道を生み出すか？
• RQ4 VTSFE は、既存のモデルと比較して、特徴表現を維持または向上させながら、より高速な学習および推論時間を達成できるか？
• RQ5 VTSFE の潜在空間は、行動予測や分類といった下流タスクをどの程度サポートできるか？

主な発見

• VTSFE は、特にけん制などの高振幅運動において、VAE や VAE-DMP よりも顕著に優れたモーショングレースダイナミクス符号化を達成しており、その根拠としてこれらのケースにおける再構成誤差が低く抑えられている。
• VTSFE の潜在空間は、滑らかで一貫性のある軌道を生成し、類似した行動（例：「前屈み」と「強く前屈み」）が潜在空間内で近接してマップされている。
• VTSFE は VAE-DMP よりも計算的に高速に学習される：同じハードウェア上で VTSFE light 2D は 9分30秒、VAE-DMP 2D は 16分30秒で学習完了。
• より優れた特徴符号化にもかかわらず、VTSFE の再構成能力は VAE-DMP や VAE よりも優れていないため、デコーダーはモデルの主な強みではない。
• モンテカルロサンプリングによる学習のため、モデルは学習段階で計算的に高負荷であり、オフライン事前学習に限定されるが、推論段階は効率的で、オンラインアプリケーションに適している。
• 著者らは、エンコーダーを凍結し、標準オートエンコーダー損失でデコーダーを再学習する第二段階の学習が再構成性能を顕著に向上させると指摘しているが、本研究では実施されていない。