[論文レビュー] ConvGRU in Fine-grained Pitching Action Recognition for Action Outcome Prediction

Tianqi Ma, Lin Zhang+2 more|arXiv (Cornell University)|Aug 18, 2020

Human Pose and Action Recognition参考文献 42被引用数 4

ひとこと要約

本稿では、順序付きRGB動画フレームを活用して、結果（例：ストライクまたはボール）を予測するためのConvGRUベースのモデルを提案する。この手法は、細分化された投球行動データセットにおいて、先行する最先端技術を上回る79.17％の精度を達成し、サンプリング戦略、特徴統合手法、事前学習の影響を分析している。

ABSTRACT

Prediction of the action outcome is a new challenge for a robot collaboratively working with humans. With the impressive progress in video action recognition in recent years, fine-grained action recognition from video data turns into a new concern. Fine-grained action recognition detects subtle differences of actions in more specific granularity and is significant in many fields such as human-robot interaction, intelligent traffic management, sports training, health caring. Considering that the different outcomes are closely connected to the subtle differences in actions, fine-grained action recognition is a practical method for action outcome prediction. In this paper, we explore the performance of convolutional gate recurrent unit (ConvGRU) method on a fine-grained action recognition tasks: predicting outcomes of ball-pitching. Based on sequences of RGB images of human actions, the proposed approach achieved the performance of 79.17% accuracy, which exceeds the current state-of-the-art result. We also compared different network implementations and showed the influence of different image sampling methods, different fusion methods and pre-training, etc. Finally, we discussed the advantages and limitations of ConvGRU in such action outcome prediction and fine-grained action recognition tasks.

研究の動機と目的

• 人間-ロボット協調作業における行動結果の予測という課題に、細分化された行動認識を活用して対処すること。
• 投球行動における微細な差を捉えるために、動画シーケンスからの空間的・時系列的特徴を捉えるのにConvGRUがどれほど有効であるかを検討すること。
• 行動結果予測の文脈において、さまざまなネットワークアーキテクチャ、画像サンプリング手法、特徴統合戦略、事前学習手法を比較すること。
• 実世界の人間-ロボット相互作用シナリオにおける細分化行動認識と結果予測タスクにおいて、ConvGRUの主な利点と制限を評価すること。

提案手法

• モデルは、畳み込みゲートを用いて空間的および時系列的依存関係を捉えることで、順序付きRGB動画フレームを処理するConvGRUを使用する。
• 動画クリップを入力シーケンスとして扱い、階層的な空間時系列表現を抽出するためにConvGRU層を適用する。
• 最適なフレーム選択を求めるために、均等サンプリングや密サンプリングなどの異なる画像サンプリング戦略が評価される。
• 空間的および時系列的特徴を効果的に統合するために、早期統合、後期統合、アテンションを用いた早期統合などの特徴統合手法が比較される。
• 一般化性能と性能向上を図るために、大規模な行動認識データセットでの事前学習が適用される。
• 最終的な予測ヘッドは、ConvGRUの最終隠れ状態に基づいて、行動結果（例：ストライクまたはボール）を分類する。

実験結果

リサーチクエスチョン

• RQ1 ConvGRUアーキテクチャは、結果予測のための投球行動の微細な差を認識するのにどれほど有効であるか？
• RQ2 異なる画像サンプリング手法が、行動結果予測のパフォーマンスに与える影響は何か？
• RQ3 さまざまな特徴統合戦略は、順序付き動画データにおける結果予測の正確性にどのように影響するか？
• RQ4 事前学習が、細分化された投球行動認識タスクにおけるConvGRUモデルのパフォーマンスをどの程度向上させるか？
• RQ5 実世界の人間-ロボット相互作用シナリオにおける細分化行動認識において、ConvGRUを使用する主な利点と制限は何か？

主な発見

• 提案されたConvGRUベースのモデルは、細分化された投球行動認識ベンチマークで79.17％のテスト精度を達成し、現在の最先端技術を上回っている。
• 密サンプリングと後期統合戦略の使用が、均等サンプリングと早期統合と比較してパフォーマンスの向上をもたらしている。
• 大規模データセットでの事前学習は、モデルの一般化能力と最終的な正確性を顕著に向上させる。
• ConvGRUは、投球メカニズムの微細な差を捉えるために不可欠な、長距離の時系列依存関係をモデル化する強力な能力を示している。
• 強力なパフォーマンスを示す一方で、モデルは入力シーケンスの品質やサンプリング戦略に敏感であることが判明しており、データ前処理の改善の余地がある。