[論文レビュー] Manipulation-skill Assessment from Videos with Spatial Attention Network

Zhenqiang Li, Yifei Huang+2 more|arXiv (Cornell University)|Jan 9, 2019

Human Pose and Action Recognition参考文献 52被引用数 4

ひとこと要約

本稿では、一時的な視覚特徴、ハイレベルなタスク進行状況、時間的注意遷移を統合的にモデル化することで、動画ベースの操作スキル評価を向上させる、新しいRNNベースの空間的注意ネットワークを提案する。本手法は、インファンツの grasping データセットを含む5つのデータセットにおいて、タスクに重要な領域に焦点を当てた適応的注意を学習することで、最先端の性能を達成する。

ABSTRACT

Recent advances in computer vision have made it possible to automatically assess from videos the manipulation skills of humans in performing a task, which breeds many important applications in domains such as health rehabilitation and manufacturing. Previous methods of video-based skill assessment did not consider the attention mechanism humans use in assessing videos, limiting their performance as only a small part of video regions is informative for skill assessment. Our motivation here is to estimate attention in videos that helps to focus on critically important video regions for better skill assessment. In particular, we propose a novel RNN-based spatial attention model that considers accumulated attention state from previous frames as well as high-level knowledge about the progress of an undergoing task. We evaluate our approach on a newly collected dataset of infant grasping task and four existing datasets of hand manipulation tasks. Experiment results demonstrate that state-of-the-art performance can be achieved by considering attention in automatic skill assessment.

研究の動機と目的

• 人間の注意メカニズムを模倣する注目機構を組み込むことで、動画ベースのスキル評価を向上させること。
• 従来の手法が、スキル評価における時間的注意遷移とタスクレベルの文脈を正しくモデル化できないという限界を克服すること。
• 視覚特徴、タスク進行状況の知識、蓄積された注意状態を統合する統一フレームワークを構築し、より良い性能を達成すること。
• スキル評価研究を支援するため、インファンツの物体 grasping タスクの新しいデータセットを収集・アノテーションすること。
• 公開データセットおよび新たに収集したデータセットを用いた広範な実験を通じて、注目モデリングの有効性を検証すること。

提案手法

• 空間的注意遷移をモデル化するRNN（RNN_att）と、タスク進行状況を追跡するRNN（RNN_task）を備えた二重RNNアーキテクチャを提案する。
• 各フレームの視覚特徴（x̄_t）をRNN_taskの隠れ状態と統合し、RNN_attにおける注目推定をガイドする。
• 人間がアノテートした動画ペアを用いたペairwise deep rankingを用いてモデルを学習し、データ拡張と弱い教師信号を可能にする。
• 低レベルの視覚的キュー、ハイレベルなタスク文脈、および事前の注意状態を組み合わせることで、動的に情報量の多い領域に注目する空間的注意モジュールを採用する。
• スキル実行中に関連する身体部位や物体の間で、適応的に注意マップをシフトできるエンドツーエンド学習を可能にする。
• RNN_attを用いて、前のフレームからの時間的相関をモデル化し、注意の遷移パターンを捉える。

Figure 1: The illustration of our skill assessment framework. At every time step, the network takes an RGB image and the corresponding stacked optical flow images as input and firstly represents them as deep appearance-motion features. The spatial attention sub-module is then used to generate an att

実験結果

リサーチクエスチョン

• RQ1 空間的注意遷移のモデリングは、動画ベースの操作タスクにおけるスキル評価性能を向上させることができるか？
• RQ2 ハイレベルなタスク進行状況の知識を組み込むことで、注目推定とスコアリングにどのような影響を与えるか？
• RQ3 視覚特徴、タスク文脈、および事前の注意状態を統合することで、より正確で解釈可能な注目マップが得られるか？
• RQ4 提案手法は、インファンツの運動発達やハンドマニピュレーションを含む多様な操作タスクに一般化可能か？
• RQ5 各コンポonent（視覚入力、タスク状態、注意メモリ）が全体の性能に果たす相対的寄与度は何か？

主な発見

• 提案手法は、新たに収集した Infant Grasp データセットにおいて、86.1%という最先端のランク付け精度を達成し、従来手法を上回る。
• Chopstick データセットおよび Surgery データセットでは、それぞれ85.5%および85.3%のランク付け精度を達成し、優れた一般化性能を示す。
• アブレーションスタディの結果、空間的注意機構を削除すると、Infant Grasp データセットでの性能が82.1%に低下することが確認され、その必要性が裏付けられた。
• 視覚、タスク、および注意メモリのすべてのコンポーネントを備えたモデルは、視覚またはタスク特徴のみを用いたベースラインを上回り、3つの入力が重要であることが示された。
• 可視化結果から、モデルが、落下やキューブの切り替えといった重要な動作中に、手や物体の間で意味のある、タスク関連の注目マップを学習していることが確認された。
• SCA-CNN や CBAM と比較して、本手法は顕著ではあるがタスクに無関係な領域に注目するのを回避し、人間の評価とより良い一致を示す注目マップを生成した。

Figure 2: The details of the spatial attention sub-module. To estimate the task-related significance for the regional vectors at different locations, the module incorporates not only the low-level visual information $\bar{x}_{t}$ globally extracted from the deep feature maps, but also the high-level