[論文レビュー] Temporally Distributed Networks for Fast Video Semantic Segmentation

Ping Hu, Fabian Caba Heilbron+4 more|arXiv (Cornell University)|Apr 3, 2020

Advanced Neural Network Applications参考文献 56被引用数 10

ひとこと要約

TDNet は、軽量なサブネットワークを用いて順次フレーム間で特徴計算を分散することで、動画の意味的セグメンテーションを高速化する時系列に分散されたネットワークである。同時に、動きに起因するずれを補償するためのアテンション伝搬モジュールと、特徴表現を強化するためのグループ化された知識蒸留損失を用いる。Cityscapes、CamVid、NYUD-v2 において、従来手法よりも2倍以上低い遅延で最先端の精度を達成している。

ABSTRACT

We present TDNet, a temporally distributed network designed for fast and accurate video semantic segmentation. We observe that features extracted from a certain high-level layer of a deep CNN can be approximated by composing features extracted from several shallower sub-networks. Leveraging the inherent temporal continuity in videos, we distribute these sub-networks over sequential frames. Therefore, at each time step, we only need to perform a lightweight computation to extract a sub-features group from a single sub-network. The full features used for segmentation are then recomposed by application of a novel attention propagation module that compensates for geometry deformation between frames. A grouped knowledge distillation loss is also introduced to further improve the representation power at both full and sub-feature levels. Experiments on Cityscapes, CamVid, and NYUD-v2 demonstrate that our method achieves state-of-the-art accuracy with significantly faster speed and lower latency.

研究の動機と目的

• リアルタイム応用におけるディープラーニングベースの動画意味的セグメンテーションの高い計算コストと遅延を解決すること。
• 動画内の時間的連続性を活用して、冗長な計算を削減しつつ高い精度を維持すること。
• キーフレームベースの手法で性能を低下させる動きに起因するフレーム間の空間的ずれを克服すること。
• 知識蒸留と分散サブネットワークを用いて、軽量モデルにおける特徴表現を向上させること。
• 従来の動画セグメンテーション手法と比較して、速度、精度、計算効率のバランスをより良くすること。

提案手法

• 深層画像セグメンテーションモデルの高レベル特徴を、N 個の浅いサブネットワークに分散し、それぞれが異なる特徴グループを処理する。
• サブネットワークをフレームに巡回的に割り当てることで、1フレームあたり1つのサブネットワークのみを計算し、1フレームあたりの計算量を削減する。
• 幾何的変形を扱える新しいアテンション伝搬モジュールを用いて、直前のフレームからのサブ特徴を集約することで、各フレームで完全な特徴を再構築する。
• 分散ネットワークの全特徴およびサブ特徴レベルに、フルな深層モデルからの知識を転送するためのグループ化された知識蒸留損失を導入する。
• アテンションマップをストライド n でダウンサンプリングすることで、計算量を削減しつつ空間的コンテキストを保持する。
• 共有または独立したサブネットワークを用いて、特徴の多様性と表現能力が性能に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 深層動画セグメンテーションモデルにおける特徴計算をフレーム間で分散させることで、精度を損なわずに1フレームあたりの遅延を低減できるか？
• RQ2 動きに起因するフレーム間の空間的ずれを補償するために、アテンションベースのモジュールはどの程度効果的か？
• RQ3 全特徴およびサブ特徴レベルでの知識蒸留は、分散ネットワークの性能をどの程度向上させるか？
• RQ4 共有サブネットワークではなく独立したサブネットワークを用いることで、表現能力とセグメンテーション精度が向上するか？
• RQ5 アテンションモジュールにおけるダウンサンプリングのストライドの選択が、効率性と精度のトレードオフにどのように影響するか？

主な発見

• TDNet は、Cityscapes、CamVid、NYUD-v2 でそれぞれ 76.8%、76.5%、38.2% の mIoU を達成し、従来手法を上回る最先端の性能を示した。
• TD 4 -PSP18 の変種は、Cityscapes で 76.8% の mIoU を達成し、LadderNet や GUNet といったリアルタイムベースラインと比較して著しく高速（85ms 遅延）であった。
• 共有サブネットワークではなく独立したサブネットワークを用いることで、Cityscapes で mIoU が 1% 向上したが、計算コストは増加しなかった。これは、表現能力の向上を示している。
• アテンション伝搬モジュールにより、動きがあっても時間軸に跨る特徴の強固な集約が可能であり、可視化結果から、時間的変化にかかわらず意味的特徴を効果的にマッチングしていることが確認された。
• アテンションマップをストライド n=4 でダウンサンプリングすることで、遅延が 35% 減少（268ms → 85ms）し、mIoU の低下はたった 0.1% にとどまった。これは顕著な効率性の向上を示している。
• アブレーションスタディの結果、4つのサブ特徴パスのいずれかを削除すると一貫して精度が低下し、分散特徴計算の必要性が裏付けられた。