[論文レビュー] TFCNet: Temporal Fully Connected Networks for Static Unbiased Temporal Reasoning

Shiwen Zhang|arXiv (Cornell University)|Mar 11, 2022

Human Pose and Action Recognition被引用数 4

ひとこと要約

TFCNetは、3次元畳み込みニューラルネットワーク（3D CNN）におけるグローバルな時間的受容 field の強化を目的として、時間方向に完全結合層に類似した演算を施す Temporal Fully Connected Blocks（TFC ブロック）を導入した。この手法は、静的でバイアスのない時間的推論ベンチマークにおいて顕著な性能向上を達成し、CATER（98.4％のトップ-1正解率）および Diving48（88.3％のトップ-1正解率）で最先端の結果を達成した。RNN やビジョントランスフォーマー、および先行する CNN と比較して大幅な性能向上を示した。

ABSTRACT

Temporal Reasoning is one important functionality for vision intelligence. In computer vision research community, temporal reasoning is usually studied in the form of video classification, for which many state-of-the-art Neural Network structures and dataset benchmarks are proposed in recent years, especially 3D CNNs and Kinetics. However, some recent works found that current video classification benchmarks contain strong biases towards static features, thus cannot accurately reflect the temporal modeling ability. New video classification benchmarks aiming to eliminate static biases are proposed, with experiments on these new benchmarks showing that the current clip-based 3D CNNs are outperformed by RNN structures and recent video transformers. In this paper, we find that 3D CNNs and their efficient depthwise variants, when video-level sampling strategy is used, are actually able to beat RNNs and recent vision transformers by significant margins on static-unbiased temporal reasoning benchmarks. Further, we propose Temporal Fully Connected Block (TFC Block), an efficient and effective component, which approximates fully connected layers along temporal dimension to obtain video-level receptive field, enhancing the spatiotemporal reasoning ability. With TFC blocks inserted into Video-level 3D CNNs (V3D), our proposed TFCNets establish new state-of-the-art results on synthetic temporal reasoning benchmark, CATER, and real world static-unbiased dataset, Diving48, surpassing all previous methods.

研究の動機と目的

• 静的でバイアスのない時間的推論ベンチマークにおいて、クリップベースの 3D CNN が十分なグローバルな時間的モデリングを実現できないという限界を解消すること。
• ビデオレベルのサンプリング戦略が、RNN やビジョントランスフォーマーに比べて、バイアスのないベンチマークで 3D CNN の競争力を回復できるかどうかを調査すること。
• 3D CNN にグローバルな時間的モデリングを可能にするが、パラメータ数や FLOP の増加を抑えた、新しい効率的な構成部品（TFC ブロック）を設計すること。
• 外部データやアノテーションに依存せず、軽量でエンドツーエンドで学習可能なアーキテクチャを用いて、CATER および Diving48 におけるビデオレベルの時間的推論の最先端性能を確立すること。

提案手法

• 時間方向に完全結合演算を適用する TFC ブロック（Temporal Fully Connected Blocks）を提案。これにより、動画特徴量における長距離依存性をモデル化できる。
• TFC ブロックをビデオレベルの 3D CNN（V3D）およびそのディープワイド変種に統合し、TFCNets を構築。これにより、中間層でグローバルな時間的文脈学習が可能になった。
• 学習および推論時にビデオレベルのサンプリング戦略を採用。クリップベースのサンプリングとは異なり、特徴学習に全ビデオの文脈を活用できる。
• TFC ブロックは時間長さに二次的にパラメータが増加するが、FLOP の増加は最小限に抑えられ、計算的に効率的である。
• 空間畳み込みの後に TFC ブロックを挿入する残差ボトルネックアーキテクチャを採用。これにより、空間的および時間的特徴の解像度を維持できる。
• アブレーションスタディにおいて、TFC ブロックと SE ブロック、Nonlocal ブロックを比較。TFC ブロックは、より低いパラメータ数および FLOP で高い正解率を達成した。

実験結果

リサーチクエスチョン

• RQ1 ビデオレベルのサンプリングを用いた 3D CNN は、RNN やビジョントランスフォーマーに比べ、静的でバイアスのない時間的推論ベンチマークで優れた性能を発揮できるか？
• RQ2 TFC ブロックのようなグローバルな時間的モデリング機構を導入することで、CATER や Diving48 などのベンチマークにおける 3D CNN の性能が顕著に向上するか？
• RQ3 SE ブロック や Nonlocal ブロックといった既存のグローバル受容フィールド機構と比較して、TFC ブロックは正解率、パラメータ数、FLOPs の観点でどのように優れているか？
• RQ4 TFC ブロックの有効性は、入力シーケンス長に依存するか？ もし依存する場合、どのような条件下で性能向上が最も顕著に現れるか？
• RQ5 TFCNets は外部データやアノテーションに依存せずに、最先端の性能を達成できるか？

主な発見

• TFCNets は CATER ベンチマークで 98.4％ のトップ-1正解率を達成し、ビジョントランスフォーマーや外部アノテーションを用いたモデルを含む、すべての先行手法を上回った。
• Diving48 V2 では 88.3％ のトップ-1正解率を達成し、最高の報告済みビジョントランスフォーマーの結果より 7.3％、Diving48 V1 の最先端手法より 11.6％ 高かった。
• ビデオレベルのサンプリング戦略は、クリップレベルおよびハイブリッド V4D サンプリングを 30％ 以上の絶対正解率で上回り、グローバル推論において優位性を確認した。
• Nonlocal ブロックと比較して、TFC ブロックは 27 GFLOP の削減を実現しながらも、より高い正解率を達成した。これにより、優れた効率性と有効性が示された。
• SE ブロックは V3D で性能を低下させた。これは、グローバル平均プーリングが、TFC ブロックとは異なり、微細な空間的・時間的構造を破壊するためである。
• TFCNets の性能向上は、パラメータ数の増加によるものではない。TFCNets はベースラインの V3D よりもたった 0.3 GFLOPs のみ増加しているが、顕著な正解率の向上を達成した。