[論文レビュー] CT-Net: Channel Tensorization Network for Video Classification

Kunchang Li, Xianhang Li+3 more|arXiv (Cornell University)|Jun 3, 2021

Human Pose and Action Recognition参考文献 25被引用数 26

ひとこと要約

CT-Netは、チャネル次元をテンソル化するChannel Tensorization Moduleを導入し、テンソル分離可能畳込みとTensor Excitation機構を用いて効率と特徴相互作用のバランスを取る。低い計算量でKinetics-400およびSomething-Something v1/v2で高い精度を達成する。

ABSTRACT

3D convolution is powerful for video classification but often computationally expensive, recent studies mainly focus on decomposing it on spatial-temporal and/or channel dimensions. Unfortunately, most approaches fail to achieve a preferable balance between convolutional efficiency and feature-interaction sufficiency. For this reason, we propose a concise and novel Channel Tensorization Network (CT-Net), by treating the channel dimension of input feature as a multiplication of K sub-dimensions. On one hand, it naturally factorizes convolution in a multiple dimension way, leading to a light computation burden. On the other hand, it can effectively enhance feature interaction from different channels, and progressively enlarge the 3D receptive field of such interaction to boost classification accuracy. Furthermore, we equip our CT-Module with a Tensor Excitation (TE) mechanism. It can learn to exploit spatial, temporal and channel attention in a high-dimensional manner, to improve the cooperative power of all the feature dimensions in our CT-Module. Finally, we flexibly adapt ResNet as our CT-Net. Extensive experiments are conducted on several challenging video benchmarks, e.g., Kinetics-400, Something-Something V1 and V2. Our CT-Net outperforms a number of recent SOTA approaches, in terms of accuracy and/or efficiency. The codes and models will be available on https://github.com/Andy1621/CT-Net.

研究の動機と目的

• 動画分類において豊かな空間-時間-チャネル相互作用を保持しつつ、3D畳込みの計算量を削減する動機付け。
• チャネルをK個のサブ次元に因数分解して効率的な多次元畳込みを実現するChannel Tensorization Module（CT-Module）を提案する。
• テンソル対応の方法で空間・時間・チャネルのアテンションを学習するTensor Excitation（TE）機構を導入する。
• ResNetブロックへCT-Modulesを組み込んで構築されたCT-Netが、大規模なビデオベンチマークで妥当な精度と計算効率のトレードオフを達成することを示す。

提案手法

• 入力チャネルをK個のサブ次元の積として表現する: C = C1 × C2 × ... × CK。
• 各チャネルサブ次元に沿ってテンソル分離可能畳込み（TSConv）を適用し、段階的に全特徴の相互作用を可能にし、3D受容野を拡大する。
• 3D TSConvを空間（S-TSConv）と時間（T-TSConv）のテンソル分離可能畳込みに因数分解し、それらの出力を並列に融合する（Xk = Xk^S + Xk^T）。
• 各CT-ModuleにTensor Excitation（TE）を搭載し、空間TE（S-TE）、時間TE（T-TE）、およびチャネルTE（PW-TSConvベース）を含み、次元間の協調的特徴相互作用を強化する。
• ResNetベースのCT-NetにCT-Modulesを組み込み、選択したResBlocksをCT-Blocksに置き換えることで、ビデオ分類に柔軟で効率的なネットワークを実現する。
• 注: TE機構はテンソル対応の方法で空間・時間・チャネルの次元を明示的にアテンションする。

実験結果

リサーチクエスチョン

• RQ1 複数のサブ次元分解によるチャネルテンソリゼーションは、動画表現の品質を維持または向上させつつ計算量を削減できるか？
• RQ2 チャネルサブ次元に沿ったテンソル分離可能畳込みは、より大きな3D受容野を段階的に生み出し、アクション認識を改善するか？
• RQ3 CT-ModuleにおいてTensor Excitation機構は、空間・時間・チャネルのアテンションから測定可能な利得をもたらすか？
• RQ4 Kinetics-400やSomething-Something V1/V2などのデータセットにおいて、CT-Blocksを用いたCT-Netは、精度とGFLOPsの観点で最先端の2D/3Dビデオモデルとどう比較されるか？
• RQ5 サブ次元の数（K）とサブ次元サイズ（Ci）を変えることが、性能と効率にどのような影響を与えるか？

主な発見

• CT-Moduleは、いくつかの3D畳込みベースラインと比べて低いGFLOPsで競争力のある精度を実現する。
• サブ次元数（K）を増やすと計算量を削減し、2Dチャネルテンソリゼーションと組み合わせると、精度と効率のトレードオフが有利になる。
• 並列の空間と時間のテンソル分離可能畳込みは、逐次や結合構成より優れている。
• Tensor Excitation（TE）は、空間・時間・チャネル次元を効果的にアテンションすることで、CT-Moduleの上に追加の利得を提供する。
• CT-NetのCT-Blocksを用いたバリアントはSomething-Something V1/V2で最先端の結果に到達または上回り、Kinetics-400でも競争力のある結果を示し、顕著な効率性の利点を有する。