[論文レビュー] Video Classification with Channel-Separated Convolutional Networks

Du Tran, Heng Wang+2 more|arXiv (Cornell University)|Apr 4, 2019

Human Pose and Action Recognition参考文献 42被引用数 84

ひとこと要約

この論文は video 分類のための Channel-Separated Convolutional Networks (CSNs) を提案し、チャネル相互作用を時空間相互作用から分離することで、2–3x の FLOPs削減で精度を向上させ、複数データセットで従来の3D CNNより優れていることを示す。

ABSTRACT

Group convolution has been shown to offer great computational savings in various 2D convolutional architectures for image classification. It is natural to ask: 1) if group convolution can help to alleviate the high computational cost of video classification networks; 2) what factors matter the most in 3D group convolutional networks; and 3) what are good computation/accuracy trade-offs with 3D group convolutional networks. This paper studies the effects of different design choices in 3D group convolutional networks for video classification. We empirically demonstrate that the amount of channel interactions plays an important role in the accuracy of 3D group convolutional networks. Our experiments suggest two main findings. First, it is a good practice to factorize 3D convolutions by separating channel interactions and spatiotemporal interactions as this leads to improved accuracy and lower computational cost. Second, 3D channel-separated convolutions provide a form of regularization, yielding lower training accuracy but higher test accuracy compared to 3D convolutions. These two empirical findings lead us to design an architecture -- Channel-Separated Convolutional Network (CSN) -- which is simple, efficient, yet accurate. On Sports1M, Kinetics, and Something-Something, our CSNs are comparable with or better than the state-of-the-art while being 2-3 times more efficient.

研究の動機と目的

• 精度を損なうことなく、動画分類のための3D CNNにおける計算量の削減を動機づける。
• 3Dグループ畳込みにおけるチャネル相互作用と時空間相互作用の役割を調査する。
• チャネルと時空間処理を因数分解して効率と正則化を向上させる CSN の提案。
• 大規模な動画データセットで最先端手法と比較して CSN を評価し、性能と効率の利得を確立する。

提案手法

• conv1を除くすべての畳込みがチャネル相互作用用の1x1x1、または局所的な時空間相互作用用の深さ方向畳み込み3x3x3である3Dチャネル分離ネットワークを導入する。
• フィルターを通じて相互作用するチャネル対の数としてチャネル相互作用を定義・定量化する。
• 相互作用を保持する（ip-CSN）および相互作用を削減する（ir-CSN）ボトルネックブロックと対応アーキテクチャを提示する。
• 従来の3D畳込みとCSN変種を FLOPs、パラメータ、チャネル相互作用の観点で比較する。
• Kinetics-400 でブロック設計・深さ・チャネル相互作用が精度と正則化に与える影響を調べるアブレーションを実施する。
• Sports1M、Kinetics、Something-Something-v1 上で CSN を評価し、Sports1M からのファインチューニングを含める。

実験結果

リサーチクエスチョン

• RQ1 チャネル相互作用は動画分類の3Dグループ畳込みネットワークの精度にどのように影響するか。
• RQ2 チャネル相互作用を時空間相互作用から分離することで、計算を削減しつつ精度を保持または向上させることができるか。
• RQ3 相互作用を保持するCSNと相互作用を削減するCSNの変種は、標準的な3D CNNと比較してFLOPs対精度のトレードオフが有利になるか。
• RQ4 チャネル分離アーキテクチャは動画データセットでの汎化性能を改善する正則化効果を示すか。

主な発見

• CSNs can achieve comparable or superior accuracy to state-of-the-art 3D CNNs while reducing FLOPs by about 2–3x when channel interactions are preserved.
• Interaction-preserved CSNs (ip-CSN) maintain channel interactions and consistently outperform interaction-reduced CSNs (ir-CSN) in deeper models.
• Channel separation acts as a regularizer, yielding higher training error but lower test error compared with dense 3D convolutions.
• Bottleneck-based (ir-CSN) designs provide the best computation/accuracy tradeoff within the studied block designs.
• On Sports1M, Kinetics, and Something-Something-v1, CSNs are comparable with or better than prior art and considerably faster.