[論文レビュー] Motion Question Answering via Modular Motion Programs

Mark Endo, Joy Hsu+2 more|arXiv (Cornell University)|May 15, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、実世界の文脈における長時間の人体運動シーケンスにおける複雑で多段階の時空間的推論を評価するための新しいベンチマーク、HumanMotionQA を紹介し、アクション境界の教師なし条件下でも運動的概念、属性、時系列的関係をモジュラーな運動プログラムを用いて接地する神経記号的手法 NSPose を提案する。NSPose は、記号的プログラム実行とモジュラー学習を活用することで、エンドツーエンドのベースラインを上回り、BABEL-QA データセットで最先端の精度を達成した。これは、改善された時系列的接地とデータバイアスの低減によるものである。

ABSTRACT

In order to build artificial intelligence systems that can perceive and reason with human behavior in the real world, we must first design models that conduct complex spatio-temporal reasoning over motion sequences. Moving towards this goal, we propose the HumanMotionQA task to evaluate complex, multi-step reasoning abilities of models on long-form human motion sequences. We generate a dataset of question-answer pairs that require detecting motor cues in small portions of motion sequences, reasoning temporally about when events occur, and querying specific motion attributes. In addition, we propose NSPose, a neuro-symbolic method for this task that uses symbolic reasoning and a modular design to ground motion through learning motion concepts, attribute neural operators, and temporal relations. We demonstrate the suitability of NSPose for the HumanMotionQA task, outperforming all baseline methods.

研究の動機と目的

• 長時間の人体運動シーケンスにおける複雑で多段階の推論を評価するためのベンチマークの不足を解消すること。
• アクション境界のアノテーションに依存せずに、非トリムドな運動シーケンスにおける微細な時系列的推論が可能な手法の開発。
• 神経記号的フレームワークを用いて、モジュラーな運動概念と時系列的関係を学習することで、運動理解におけるデータバイアスを軽減すること。
• 記号的プログラム実行を用いて、時間経過にわたる運動属性（例：動作、方向、身体部位）の忠実な接地を可能にすること。
• エンドツーエンドモデルと比較して、モジュラーでプログラムベースの推論が、運動質問応答における一般化性能と精度を向上させることを示すこと。

提案手法

• 質問を再帰的記号的プログラムに分解し、運動シーケンス上で実行する神経記号的フレームワーク、NSPose を提案する。
• f フレームの重複する運動セグメント（o のオーバーラップ付き）を用いることで、時系列的文脈を保持するとともに、アクション境界がなくても微細な推論が可能になる。
• 質問-回答ペアのエンドツーエンド学習により、運動表現と言語的概念埋め込みを同時に学習する。
• 「前」「後」「間の」などの関係をモデル化するため、1次元畳み込み層（拡張あり）または線形層を時系列演算子として採用する。
• 各プログラムコンポonent が特定の運動概念（例：「歩行」「左腕」）や関係タイプに対応するモジュラー設計を導入する。
• 真のアクション境界に依存しない弱教師あり学習設定を採用することで、データバイアスの低減を実現する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドモデルと比較して、神経記号的手法は非トリムドな人体運動シーケンスにおける時系列的接地をより良く行えるか？
• RQ2 モジュラーなプログラム学習は、微細な運動属性（例：身体部位、方向）および時系列的関係の推論をどの程度向上できるか？
• RQ3 アクション境界のアノテーションの必要性を排除することで、運動質問応答における一般化性能と耐障害性が向上するか？
• RQ4 重複するセグメンテーションと非重複または真のアノテーションに基づくセグメンテーションの間で、性能と文脈保持の観点からどの程度差が生じるか？
• RQ5 単純な時系列演算子（例：線形 vs. 拡張畳み込み）は、より複雑なアーキテクチャと同等の性能を達成できるか？

主な発見

• NSPose は BABEL-QA テストセットで全体精度 0.578 を達成し、すべてのエンドツーエンドベースラインを上回った。
• 重複セグメンテーション戦略（f=16, o=8）は、非重複セグメントに比べて 0.038 の性能向上を示し、文脈保持の利点を裏付けた。
• NSPose の弱教師ありアプローチは、真のアクション境界を用いたバージョンよりも全体精度で 0.025 高く、教師なし条件下での優れた一般化性能を示した。
• 1次元畳み込み時系列演算子は、線形演算子（0.540）と比較して同等の性能（0.578）を達成した。これは、単純な関数でも効果的な時系列的推論が可能であることを示している。
• NSPose は動作クエリタスクで 0.627、方向クエリで 0.598 の精度を達成し、複雑で多段階の推論において優れた性能を示した。
• 運動概念の未学習な組み合わせに対しても、データバイアスの利用なしに多様な質問タイプで一貫した性能を示しており、モデルの一般化性能が優れていることが裏付けられた。