[論文レビュー] One-shot action recognition towards novel assistive therapies.

Alberto Sabater, Laura Santos+4 more|arXiv (Cornell University)|Feb 17, 2021

Human Pose and Action Recognition参考文献 13被引用数 5

ひとこと要約

本論文では、自動療法動画分析のための動きデータの標準化と表現に、時系列畳み込みネットワーク（TCN）を用いたワンショット行動認識手法を提案する。NTU-120ベンチマークで最先端の性能を達成し、自閉症患者に対する療法支援においても強力な実用応用性を示している。

ABSTRACT

One-shot action recognition is a challenging problem, especially when the target video can contain one, more or none repetitions of the target action. Solutions to this problem can be used in many real world applications that require automated processing of activity videos. In particular, this work is motivated by the automated analysis of medical therapies that involve action imitation games. The presented approach incorporates a pre-processing step that standardizes heterogeneous motion data conditions and generates descriptive movement representations with a Temporal Convolutional Network for a final one-shot (or few-shot) action recognition. Our method achieves state-of-the-art results on the public NTU-120 one-shot action recognition challenge. Besides, we evaluate the approach on a real use-case of automated video analysis for therapy support with autistic people. The promising results prove its suitability for this kind of application in the wild, providing both quantitative and qualitative measures, essential for the patient evaluation and monitoring.

研究の動機と目的

• 異種の動きデータにおけるワンショット行動認識の課題に対処すること。特に、療法動画分析における応用を想定する。
• 1回または複数回の繰り返し、あるいは繰り返しがない状況下でも、行動を識別可能な堅牢な手法を開発すること。
• 特に自閉症患者に対する行動模倣ゲームを含む支援療法のための自動動画分析を可能にすること。
• 臨床的モニタリングと患者評価に不可欠な定量的および定性的な評価指標を提供すること。

提案手法

• 異種の動きデータを標準化するための前処理パイプラインを導入し、異なる記録条件に起因するばらつきを低減する。
• 標準化されたデータから記述的で高レベルの動き表現を生成するために、時系列畳み込みネットワーク（TCN）を用いる。
• ワンショットまたはフェイシュート行動認識のための学習を実施し、最小限のラベル付き例で新しい行動を識別可能にする。
• 時間的モデリングを活用して行動系列における長距離依存関係を捉え、識別性能の強化を図る。
• 公に提供されているNTU-120ワンショット行動認識ベンチマークと、実世界の療法応用の両方でフレームワークを評価する。
• 定量的指標と定性的分析の両方を含む評価により、臨床的利用可能性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 ワンショット行動認識モデルは、ターゲット行動が0回、1回、または複数回繰り返された動画を効果的に処理できるか？
• RQ2 動きの品質や記録条件にばらつきがある実世界の療法動画に対し、提案手法はどの程度一般化性能を示すか？
• RQ3 動きの標準化とTCNベースの表現学習は、低ショット設定における識別精度をどの程度向上させるか？
• RQ4 本手法は、自閉症療法における患者モニタリングに信頼性があり、臨床的に意味のある評価指標を提供できるか？

主な発見

• 提案手法は、公に提供されているNTU-120ワンショット行動認識ベンチマークで最先端の性能を達成した。
• 実世界の療法動画への一般化性能が強く、臨床現場への導入に適していることが示された。
• 定量的評価により、1クラスあたり1例のラベルのみで高い識別精度が確認された。
• 定性的分析から、患者評価に有用な意味のある解釈可能な動き表現が得られた。
• 本手法は、ターゲット行動の繰り返しが複数回または存在しない場合の動きデータのばらつきに対しても効果的に対処できた。
• 動きの標準化とTCNベースの特徴学習の統合により、性能と耐障害性が顕著に向上した。