[論文レビュー] ReActNet: Temporal Localization of Repetitive Activities in Real-World Videos

Giorgos Karvounas, Iason Oikonomidis+1 more|arXiv (Cornell University)|Oct 14, 2019

Human Pose and Action Recognition被引用数 7

ひとこと要約

ReActNet は、深層特徴から得られる対比較フレーム距離の行列を用いて動画フレームをモデル化することで、現実世界の動画における繰り返し行動の時系列局所化のための新しい手法を提案する。軽量な CNN を用いてフレームを繰り返し・非繰り返しに分類し、限られたアノテート済みデータでも高い汎化性能を示し、最先端の性能を達成する。

ABSTRACT

We address the problem of temporal localization of repetitive activities in a video, i.e., the problem of identifying all segments of a video that contain some sort of repetitive or periodic motion. To do so, the proposed method represents a video by the matrix of pairwise frame distances. These distances are computed on frame representations obtained with a convolutional neural network. On top of this representation, we design, implement and evaluate ReActNet, a lightweight convolutional neural network that classifies a given frame as belonging (or not) to a repetitive video segment. An important property of the employed representation is that it can handle repetitive segments of arbitrary number and duration. Furthermore, the proposed training process requires a relatively small number of annotated videos. Our method raises several of the limiting assumptions of existing approaches regarding the contents of the video and the types of the observed repetitive activities. Experimental results on recent, publicly available datasets validate our design choices, verify the generalization potential of ReActNet and demonstrate its superior performance in comparison to the current state of the art.

研究の動機と目的

• 運動パターンが非定常的で、継続時間や実行方法が異なる現実世界の動画における繰り返し行動の局所化の課題に対処すること。
• 周期性や運動タイプに関する事前仮定なしに、任意の数および継続時間の繰り返しセグメントを検出できる手法を設計すること。
• 大規模なアノテート済みデータセットへの依存を減らし、少数のアノテート済み動画での有効な学習を可能にすること。
• 特にトレーニングデータとテストデータのコンテンツ分布が異なる場合の、多様な動画データセット間での汎化性能の向上。
• 繰り返し回数のカウントなどの後続タスクの基盤を強固にすること。

提案手法

• 本手法は、事前学習済みの CNN（例：VGG19 や I3D）を用いて抽出された深層特徴から計算された対比較フレーム距離の行列として動画を表現する。
• フレーム表現は畳み込みニューラルネットワークから得られ、すべてのフレームペア間の距離が計算され、時間的関係が捉えられる。
• ReActNet は、距離行列に基づいて各フレームが繰り返しセグメントに属するか否かを分類する軽量な 1D 畳み込みニューラルネットワークである。
• 各フレームの繰り返し／非繰り返しラベルを予測するために、バイナリ・クロスエントロピー損失を用いてエンドツーエンドで学習する。
• 絶対的なタイミングに依存せず、可変長の繰り返し動作、複数の重複しないセグメントを処理できる。
• 標準的な指標（再現率 R、適合率 P、F1 スコア F1、オーバーラップ O）を用いて評価され、クロスデータセット検証により汎化性能が評価される。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、任意の継続時間およびセグメント数を持つ現実世界の動画において、繰り返し行動を効果的に局所化できるか？
• RQ2 生のオプティカルフローまたは運動軌跡と比較して、対比較フレーム距離行列の使用が局所化のロバストネスを向上させるか？
• RQ3 コンテンツ多様性やアノテーション品質の異なるデータセット間で、ReActNet の汎化性能はどの程度高いか？
• RQ4 高い性能を維持しつつ、大規模なアノテート済みデータセットへの依存をどの程度減らせるか？
• RQ5 提案された表現とネットワークアーキテクチャは、イントラおよびクロスデータセット評価の両方で、既存の SOTA メソッドを上回るか？

主な発見

• ReActNet は、QUVA データセットで 88.5% の平均 F1 スコア、PERTUBE データセットで 88.5% の F1 スコアを達成し、以前の SOTA メソッドを上回った。
• クロスデータセット評価では、PERTUBE で学習し QUVA でテストした場合、F1 が 88.5%、オーバーラップが 80.3% となり、以前の SOTA メソッドよりオーバーラップで 18% 高かった。
• 弱いバージョンの ReActNet（IDT 特徴を使用）ですら、以前の SOTA メソッドの最良バージョンを上回り、特徴選択に依存しない手法のロバストネスを示した。
• QUVA データセット（より多様性に欠ける）で学習し PERTUBE でテストした場合でも、性能の低下は小さく、データセット間での汎化性能が優れている。
• 結果から、提案された距離行列表現が、重複するか可変長の繰り返しを持つ動画において、複雑なマルチセグメントの繰り返し行動を効果的に検出可能であることが示された。
• 限られたトレーニングデータでも高い性能を維持しており、サンプル効率が高く、実世界への展開可能性が示された。