[論文レビュー] IF-TTN: Information Fused Temporal Transformation Network for Video Action Recognition

Ke Yang, Peng Qiao+2 more|arXiv (Cornell University)|Feb 26, 2019

Human Pose and Action Recognition参考文献 31被引用数 7

ひとこと要約

本論文では、情報統合モジュール（IFM）を用いて複数のConvNetレベルで外見特徴と動き特徴を統合し、時間的変換ネットワーク（TTN）で動画スニペット間の中期的時間的変化をモデル化するIF-TTNという、動画行動認識モデルを提案する。本手法はUCF101（96.2%）およびHMDB51（74.8%）で最先端性能を達成しており、動きベクトルを用いることでリアルタイム推論を実現し、UCF101では142 fps、94.5%の精度を達成。光学フローに基づく手法と同等の精度を維持しながら10倍高速である。

ABSTRACT

Effective spatiotemporal feature representation is crucial to the video-based action recognition task. Focusing on discriminate spatiotemporal feature learning, we propose Information Fused Temporal Transformation Network (IF-TTN) for action recognition on top of popular Temporal Segment Network (TSN) framework. In the network, Information Fusion Module (IFM) is designed to fuse the appearance and motion features at multiple ConvNet levels for each video snippet, forming a short-term video descriptor. With fused features as inputs, Temporal Transformation Networks (TTN) are employed to model middle-term temporal transformation between the neighboring snippets following a sequential order. As TSN itself depicts long-term temporal structure by segmental consensus, the proposed network comprehensively considers multiple granularity temporal features. Our IF-TTN achieves the state-of-the-art results on two most popular action recognition datasets: UCF101 and HMDB51. Empirical investigation reveals that our architecture is robust to the input motion map quality. Replacing optical flow with the motion vectors from compressed video stream, the performance is still comparable to the flow-based methods while the testing speed is 10x faster.

研究の動機と目的

• 複数のネットワークレベルで外見特徴と動き特徴を効果的に統合することで、動画行動認識における空間的・時間的特徴表現を向上させること。
• 動画スニペット間の中期的時間的変化をモデル化し、短時間の記述子や長期的コンSENSUSを超えた動的変化を捉えること。
• 低品質な動き入力に対しても頑健なアーキテクチャを構築し、実用的なリアルタイム導入を可能にすること。
• 標準ベンチマークで最先端の性能を達成するとともに、光学フローに基づく手法よりも著しく推論速度を向上させること。

提案手法

• 各動画スニペットについて、複数のConvNetレベルで外見特徴と動き特徴を連結・精練する情報統合モジュール（IFM）を設計し、一貫した短時間の動画記述子を生成する。
• 隣接する動画スニペット間の順序的変換をモデル化するため、時間的変換ネットワーク（TTN）を導入し、中期的時間的ダイナミクスを学習する。
• TTNは2つの隣接スニペットの特徴を処理し、動きの軌道やオブジェクトの状態変化を捉える変換を学習する。
• IF-TTNフレームワークは、IFMとTTNをエンドツーエンドで学習可能に統合し、短時間特徴統合、中期的時間的モデリング、TSNからの長期的セグメントコンセンサスを組み合わせる。
• 光学フローの代わりに圧縮動画ストリームからの動きベクトルを用いることで、顕著な精度低下を伴わずにリアルタイム推論を実現する。
• DeepDrawによるクラス可視化により、TTNがスニペット間で意味のある時間的遷移（例：ジャンパーが空中からマットに着地するまでの動き）を学習していることが確認された。

実験結果

リサーチクエスチョン

• RQ1 複数のネットワークレベルで外見特徴と動き特徴を統合することで、動画行動認識における判別性の高い空間的・時間的表現が向上するか？
• RQ2 隣接する動画スニペット間の時間的変化をモデル化することで、短時間のスニペット特徴や長期的コンセンサスを超えた中期的時間的モデリングが向上するか？
• RQ3 本手法は、光学フローではなく動きベクトルといった劣化した動き入力に対してもどれほど頑健か？
• RQ4 本モデルは、最小限の計算コストで最先端の精度を達成しながら、リアルタイム推論を実現できるか？

主な発見

• IF-TTNはUCF101で96.2%、HMDB51で74.8%の最先端精度を達成し、I3D や Two-Stream TSN といった先行手法を上回った。
• 動きベクトルを用いるリアルタイムバージョン（MV-IF-TTN）はUCF101で94.5%の精度を達成し、先行するリアルタイム手法を上回り、光学フローに基づくモデルと同等の性能を示した。
• MV-IF-TTNは単一コアCPU上で142 fpsで動作し、光学フローに基づくTSNと比較して10倍高速でありながら、競争力のある精度を維持した。
• 光学フローから動きベクトルへの置き換えによる性能低下はたった0.6%にとどまり、動き入力品質への高い頑健性を示した。
• クラス可視化により、TTNがスニペット間で意味のある時間的遷移（例：走りから着地への高跳びの動き）を学習していることが確認された。
• 多段階特徴統合と順序的時間的モデリングの組み合わせにより、高品質な動き入力への依存が顕著に低減され、リアルタイムシステムへの実用的導入が可能になった。