[論文レビュー] Intra- and Inter-Action Understanding via Temporal Action Parsing
本稿では、オリンピック競技の動画における部分的動作の細分化された時間的アノテーションを備えた新しいデータセットTAPOSと、時間的動作パースに向けた自己教師付きTransformerベースのフレームワークであるTransParserを提案する。本手法は、部分的動作ラベルを必要とせず、内部動作構造（部分的動作の構成）と異なる動作間の関係（共通の部分的動作）を同定し、最適化されたサンプリングにより動作認識性能を1%向上させる。
Current methods for action recognition primarily rely on deep convolutional networks to derive feature embeddings of visual and motion features. While these methods have demonstrated remarkable performance on standard benchmarks, we are still in need of a better understanding as to how the videos, in particular their internal structures, relate to high-level semantics, which may lead to benefits in multiple aspects, e.g. interpretable predictions and even new methods that can take the recognition performances to a next level. Towards this goal, we construct TAPOS, a new dataset developed on sport videos with manual annotations of sub-actions, and conduct a study on temporal action parsing on top. Our study shows that a sport activity usually consists of multiple sub-actions and that the awareness of such temporal structures is beneficial to action recognition. We also investigate a number of temporal parsing methods, and thereon devise an improved method that is capable of mining sub-actions from training data without knowing the labels of them. On the constructed TAPOS, the proposed method is shown to reveal intra-action information, i.e. how action instances are made of sub-actions, and inter-action information, i.e. one specific sub-action may commonly appear in various actions.
研究の動機と目的
- 既存のデータセットにおける部分的動作の細分化された動作構造アノテーションの不足に取り組むこと。特に部分的動作に関して。
- 事前に定義された部分的動作カテゴリを必要とせず、自己教師付きで時間的部部分的動作境界と意味的パターンを発見すること。
- 内部動作構造（イントラアクション）と異なる動作間で共有される部分的動作（インターフレーム関係）が、認識性能にどのように寄与するかを調査すること。
- 視覚的および運動的特徴のみを用いて、動作インスタンスを意味的に整合性のある部分的動作に分解する手法を開発すること。
- 時間的パースがより良いフレームサンプリングを可能にすることで、下流の動作認識性能が向上することを実証すること。
提案手法
- 部分的動作カテゴリラベルを必要とせず、16,000件のオリンピック競技インスタンスと高品質な部分的動作時間セグメンテーションを備えたデータセットTAPOSを構築する。
- フレームをクエリとし、学習可能なメモリバンクがキーやバリューを提供する二段階のTransformerアーキテクチャであるTransParserを提案する。
- 自己教師付きの対照学習を用いて、複数の動作インスタンスにわたる特徴的な部分的動作パターンを学習するパターンマイナー・モジュールを採用する。
- 局所的意味的損失を用いて、部分的動作セグメント内での一貫性を強制し、セグメント間の類似性を抑制することで、境界の局所化精度を向上させる。
- 部分的動作間の特徴的差を強調するため、SPS（セグメントパターン選択）ユニットを導入し、2〜3ユニットが最適な性能を示す。
- パース結果を活用してTSNにおけるフレームサンプリングを最適化し、動作認識精度を向上させる。
実験結果
リサーチクエスチョン
- RQ1カテゴリラベルなしで、自己教師付き時間的動作パースが個々の動作内での意味的な部分的動作構造を明らかにできるか？
- RQ2自己教師付き学習から、異なる動作クラス間で共有される部分的動作（インターフレーム関係）はどのように出現するか？
- RQ3時間的パースは、下流の動作認識性能をどの程度向上させるか？
- RQ4局所的損失やSPSユニットといったアーキテクチャ的要素が、パース精度に与える影響は何か？
- RQ5モデルは、人間の運動ダイナミクスの認識と整合する意味的に整合性のある部分的動作パターンを発見できるか？
主な発見
- TransParserは、TAPOSデータセットにおいて最先端の性能を達成し、ベースライン手法を著しく上回る時間的動作パース性能を示した。
- モデルは、長距離走やボルトジャンプなど、異なる動作においても一貫して識別可能な部分的動作（例：「アプローチランニング」「着地」）を発見した。
- 「投げる」といった部分的動作は、ディスクスローとジャベリンスローといった異なる動作間で共通して存在し、インターフレーム関係を示した。
- TransParserに基づくサンプリングにより、TSNの動作認識精度は均一サンプリングに比べて約1%向上し、RGBではTop-1精度が84.80%、RGB+Flowでは91.62%に到達した。
- アブレーションスタディにより、局所的意味的損失が再現率と適合率のバランスを保つために不可欠であることが確認され、SPSユニットを2つ以上に増やすとさらなる向上は得られなかった。
- 定性的な結果から、TransParserは、ラベルが異なる場合でも（例：「こしょうを加える」と「油を加える」）人間がアノテートした部分的動作と一致する運動ベースのパターンを同定している。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。