[論文レビュー] Temporal Interlacing Network

Hao Shao, Shengju Qian+1 more|arXiv (Cornell University)|Jan 17, 2020

Human Pose and Action Recognition参考文献 29被引用数 11

ひとこと要約

本論文は、時間的特徴と空間的特徴を学習的に時間軸に沿って入れ替えることで統合する、軽量で微分可能なモジュール、Temporal Interlacing Network (TIN) を提案する。TIN は重い時間的モデルに代わり、6つのベンチマークで最先端の手法と比較して4%高い精度を達成し、6倍低い遅延を実現し、動画理解分野における新たなSOTA性能を確立した。特に ICCV19 Multi Moments in Time チャレンジで優勝を達成した。

ABSTRACT

For a long time, the vision community tries to learn the spatio-temporal representation by combining convolutional neural network together with various temporal models, such as the families of Markov chain, optical flow, RNN and temporal convolution. However, these pipelines consume enormous computing resources due to the alternately learning process for spatial and temporal information. One natural question is whether we can embed the temporal information into the spatial one so the information in the two domains can be jointly learned once-only. In this work, we answer this question by presenting a simple yet powerful operator -- temporal interlacing network (TIN). Instead of learning the temporal features, TIN fuses the two kinds of information by interlacing spatial representations from the past to the future, and vice versa. A differentiable interlacing target can be learned to control the interlacing process. In this way, a heavy temporal model is replaced by a simple interlacing operator. We theoretically prove that with a learnable interlacing target, TIN performs equivalently to the regularized temporal convolution network (r-TCN), but gains 4% more accuracy with 6x less latency on 6 challenging benchmarks. These results push the state-of-the-art performances of video understanding by a considerable margin. Not surprising, the ensemble model of the proposed TIN won the $1^{st}$ place in the ICCV19 - Multi Moments in Time challenge. Code is made available to facilitate further research at https://github.com/deepcs233/TIN

研究の動機と目的

• 空間的および時間的特徴の学習を繰り返すことで高コストとなる既存のスパatio-時間動画認識モデルの計算コストを低減すること。
• 時間的および空間的情報が統一的かつ軽量な演算子を通じて同時に学習可能かどうかを検討すること。
• RNN や3次元畳み込みなど複雑な時間的モデリング部品を置き換える、シンプルだが効果的なモジュールを設計すること。
• 最小限のFLOPsおよびパラメータ数で動画分類において最先端の性能を達成すること。

提案手法

• TIN は入力特徴マップをグループに分割し、異なる時間フレーム間で特徴を交差配置するための空間的オフセットを学習する。
• 微分可能なシフトと補間を用いて、特徴空間内で直接的に時間的表現を統合する。
• グループ別に学習可能な重みを用いて入れ替えた特徴を統合し、適応的な時間的モデリングを可能にする。
• 入れ替えプロセスは微分可能であり、エンド・ツー・エンドで最適化可能であり、空間的および時間的表現の共同学習を可能にする。
• 理論的に、TIN は正則化された時間的畳み込みネットワーク（r-TCN）と同等であることが証明されており、その表現力の裏付けとなる。
• アーキテクチャはプラグアンドプレイであり、入力の空間次元を維持し、計算オーバーヘッドを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 時間的および空間的特徴が、計算コストを低減するための単一で統一された演算子を通じて同時に学習可能か？
• RQ2 学習可能な入れ替え機構は、RNN や3次元畳み込みといった重い時間的モデリング部品を置き換え可能か？
• RQ3 提案された TIN モジュールは、既存の最先端手法と同等またはそれ以上の動画認識性能を達成できるか？
• RQ4 グループ数とリバースオフセットの使用が、長距離時間的依存関係を捉える能力に与える影響は？

主な発見

• TIN は6つの挑戦的な動画理解ベンチマークで、前回のSOTA手法と比較して4%高い精度を達成した。
• TIN は前回のSOTAと比較して推論遅延を6倍低減したが、精度は維持または向上させた。
• 8フレームおよび16フレーム入力のTINアンサンブルは、ICCV19 Multi Moments in Time チャレンジで優勝を達成した。
• Something-Something v2 データセットでは、TIN はトップ-1精度60.1%を達成し、TSM を上回り、SOTA性能に近づいた。
• アブレーションスタディの結果、2つのグループにリバースオフセットを適用した場合が最良の性能を示し、表現力と学習安定性の最適なバランスを示している。
• 可視化の結果、より深い層ではより大きな時間的オフセットが学習されていることが確認され、高レベル特徴が時間的入れ替えの恩恵をより大きく受けていることが示された。