[論文レビュー] Temporal Memory Attention for Video Semantic Segmentation

Hao Wang, Ning Wang+1 more|arXiv (Cornell University)|Feb 17, 2021

Advanced Vision and Imaging参考文献 21被引用数 9

ひとこと要約

本論文は、過去のフレームの記憶と自己注意メカニズムを用いて長距離の時間的依存関係をモデル化する、光学フローに依存しない新しい手法であるTemporal Memory Attention Network (TMANet)を提案する。過去のフレームから関連する特徴を適応的に集約することで、ResNet-50を用いてCityscapesで80.3% mIoU、CamVidで76.5% mIoUの最先端性能を達成し、計算コストを低く抑えた。

ABSTRACT

Video semantic segmentation requires to utilize the complex temporal relations between frames of the video sequence. Previous works usually exploit accurate optical flow to leverage the temporal relations, which suffer much from heavy computational cost. In this paper, we propose a Temporal Memory Attention Network (TMANet) to adaptively integrate the long-range temporal relations over the video sequence based on the self-attention mechanism without exhaustive optical flow prediction. Specially, we construct a memory using several past frames to store the temporal information of the current frame. We then propose a temporal memory attention module to capture the relation between the current frame and the memory to enhance the representation of the current frame. Our method achieves new state-of-the-art performances on two challenging video semantic segmentation datasets, particularly 80.3% mIoU on Cityscapes and 76.5% mIoU on CamVid with ResNet-50.

研究の動機と目的

• 光学フロー予測に依存せずに、動画のセマンティックセグメンテーションにおける長距離の時間的依存関係をモデル化する課題に対処すること。
• 適応的注意メカニズムを用いて複数の過去フレームからの時間的文脈を活用することで、セグメンテーションの精度を向上させること。
• 光学フローに基づく手法と比較して、計算コストを低減しつつ、性能を維持または向上させること。
• 記憶ネットワークと自己注意メカニズムを動画のセマンティックセグメンテーションに導入し、この分野における新しい応用を提示すること。

提案手法

• 本手法は、複数の過去のアノテーションなしフレームからメモリバンクを構築し、現在のクエリフレームのための時間的文脈を保存する。
• 共通のバックボーンネットワークが、現在のフレームとメモリフレームの両方の特徴を抽出する。
• Temporal Memory Attentionモジュールは、クエリ特徴とメモリのキー／バリュー間のクロスアテンションを計算し、現在のフレーム表現を強化する。
• モジュールはクエリ・キー・バリューのアテンションメカニズムを用い、メモリ内の関連する空間的・時間的特徴を動的に注目する。
• 現在のフレームの特徴と強化されたメモリの特徴を連結し、ピクセル単位の分類を実行するセグメンテーションヘッドに渡す。
• モデルは交差エントロピー損失で訓練され、エンコーディング層には1x1および3x3畳み込みを用いたマルチスケール特徴集約戦略が採用されている。

Fig. 1 : An example of the behavior of TMANet. It collects related information from the previous frames to enhance the representation of the current frame. The orange arrows represent the highly related positions between the frames.

実験結果

リサーチクエスチョン

• RQ1 光学フローに依存せずに、記憶拡張型自己注意メカニズムが動画のセマンティックセグメンテーションにおいて長距離の時間的依存関係を効果的にモデル化できるか？
• RQ2 過去フレームの選択戦略（ランダム vs. 継続的）が性能と特徴表現に与える影響は何か？
• RQ3 性能と計算コストのバランスを考慮した場合、メモリに含めるべき過去フレームの最適な数は何か？
• RQ4 特徴集約の方法（連結 vs. 加算）がセグメンテーション精度に与える影響は何か？
• RQ5 記憶ベースのアテンションメカニズムは、既存の光学フローに基づく手法および非光学フロー手法と比較して、精度と効率の両面で優れているか？

主な発見

• TMANetは、Cityscapesの検証セットで80.3% mIoUを達成し、ResNet-50を用いて新たな最先端性能を樹立した。
• CamVidデータセットでは76.5% mIoUを達成し、これも以前の手法を上回った。
• 連続的フレーム選択戦略がランダム選択を上回った。これは、メモリ内での局所的時間的整合性が強いためと考えられる。
• 特徴の連結の方が加算よりも優れた性能を示した。これは、チャネルごとの情報をよりよく保持しているためである。
• エンコーディングモジュールに1x1および3x3畳み込み層を組み合わせた構成が最良の結果をもたらし、単一層構成を上回った。
• モデルはわずか754 GFLOPsの計算量で優れた性能を達成し、多くの既存の光学フローに基づく手法よりも顕著に低かった。

Fig. 2 : Illustration of our proposed TMANet. We select $T$ frames from a given video as the memory sequence. The current frame and memory sequence are fed into a shared backbone to extract features. The encoding layers further embed the features to keys and values. The Temporal Memory Attention mod