[論文レビュー] Temporal Human Action Segmentation via Dynamic Clustering

Yan Zhang, He Sun+2 more|arXiv (Cornell University)|Mar 15, 2018

Human Pose and Action Recognition参考文献 34被引用数 6

ひとこと要約

本論文は、オンラインおよびオフライン設定の両方で効率的に動作する、時間的行動分類のための高速で教師なしの動的クラスタリング手法を提案する。初期化に頑健なスペクトルクラスタリングを活用し、クラスタ中心および共分散を動的に更新することで、状態SOTAの精度と再現率を達成している—例としてCMUMADでは0.82/0.86を記録—、かつ従来のオフライン手法ACAと比較して2,000倍以上高速である。

ABSTRACT

We present an effective dynamic clustering algorithm for the task of temporal human action segmentation, which has comprehensive applications such as robotics, motion analysis, and patient monitoring. Our proposed algorithm is unsupervised, fast, generic to process various types of features, and applicable in both the online and offline settings. We perform extensive experiments of processing data streams, and show that our algorithm achieves the state-of-the-art results for both online and offline settings.

研究の動機と目的

• オンラインおよびオフラインの両方のシナリオに適用可能な、教師なしで高速かつ汎用的な時間的行動分類手法の開発。
• 大規模なアノテート済みデータセットと高い計算コストを要する教師あり手法の限界を克服すること。
• 訓練データが入手不可であるプライバシーに配慮が必要な分野（例：医療や監視）において、リアルタイムの行動分類を可能にすること。
• 高速または異常な行動を検出するために特に重要な、オンライン設定における再現率の向上。
• 入力時系列特徴に応じて動的に進化するデータ駆動型クラスタリングフレームワークの提供。

提案手法

• 初期の特徴ベクトルに対して頑健なスペクトルクラスタリングを用いてクラスタ中心および共分散を初期化し、行動の空間的凝集性と分離性を捉える。
• 新しい特徴ベクトルが到着するたびにクラスタ統計（中心および共分散）を動的に更新することで、リアルタイムでの適応を可能にする。
• フレーム単位の意思決定ルールを採用：現在のフレームが直前のフレームと異なるクラスタに属する場合に、セグメンテーション境界を検出する。
• オフライン設定では特徴の集約を適用して分類精度を向上させるが、オンラインモードではその処理を無効にして高速性を確保する。
• JointLocation、相対角度、クaternionなど、さまざまな特徴タイプをサポートしており、入力モodalの多様性に対応できる汎用性を持つ。
• 行動境界の検出にあたって、行動数や持続時間の事前知識を必要としない、クラスタ所属遷移に基づく時間的類似性測定を採用する。

実験結果

リサーチクエスチョン

• RQ1 教師ありアノテーションを一切必要としない動的クラスタリングアプローチが、時間的行動分類においてSOTAの性能を達成できるか？
• RQ2 本手法は、既存のオフラインおよびオンライン行動分類技術と比較して、速度と精度の面でどのように差をつけるか？
• RQ3 オンライン設定において、本アルゴリズムが高い再現率を維持する程度はどの程度か。これは、一時的または異常な行動を検出することが重要な文脈において特に重要である。
• RQ4 本手法は、TUMKitchen や HDM05 のような複雑なデータセットおよび多様な特徴表現に一般化できるか？
• RQ5 クラスタリングによる行動の分類と、行動境界のセグメンテーションの間には、理論的および実用的な関係がどの程度存在するか？

主な発見

• JointLocation特徴を用いたCMUMADデータセットにおいて、本手法は0.1秒未塔で0.82の精度と0.86の再現率を達成し、2,200倍以上長い実行時間（2,200×）を要するSOTA手法ACA（0.55/0.68）を上回っている。
• TUMKitchenデータセットでは、JointLocation特徴を用いて体幹の動きで再現率0.62、腕の動きで0.49を達成し、KTC-S（0.36/0.31）およびATR（0.29/0.29）を顕著に上回っている。
• 本手法はSOTA手法と同等の精度を維持しながら、オンライン設定において顕著に高い再現率を達成しており、監視や患者モニタリングなどのリアルタイム応用において極めて重要である。
• 従来の手法と比較して著しく高速に動作し、リアルタイムのビデオストリーム処理に適したスケーラビリティを示している。
• 本手法は、ポーズベース特徴および文脈的動画特徴を含む、さまざまな特徴タイプにわたって良好に一般化しており、頑健性と適応性を示している。
• オフラインおよびオンラインの両設定において、本手法はSOTA技術と同等または優れた性能を達成している一方で、特にオフラインモードにおいて顕著に高速である。