[論文レビュー] Low-Latency Video Semantic Segmentation

Yule Li, Jianping Shi+1 more|ArXiv.org|Apr 2, 2018

Visual Attention and Saliency Detection参考文献 25被引用数 3

ひとこと要約

本論文は、空間可変畳み込みを用いた適応的特徴伝搬とキーフレーム選択のための適応的スケジューラを備えた低遅延動画セマンティックセグメンテーションフレームワークを提案する。精度予測に基づく計算の動的割り当てと、フレーム間での効率的な特徴再利用により、Cityscapes上で119msの遅延を達成し、ベースラインの33%にまで低減。同時に、最新の性能を達成し、精度と効率性の両方を向上させた。

ABSTRACT

Recent years have seen remarkable progress in semantic segmentation. Yet, it remains a challenging task to apply segmentation techniques to video-based applications. Specifically, the high throughput of video streams, the sheer cost of running fully convolutional networks, together with the low-latency requirements in many real-world applications, e.g. autonomous driving, present a significant challenge to the design of the video segmentation framework. To tackle this combined challenge, we develop a framework for video semantic segmentation, which incorporates two novel components: (1) a feature propagation module that adaptively fuses features over time via spatially variant convolution, thus reducing the cost of per-frame computation; and (2) an adaptive scheduler that dynamically allocate computation based on accuracy prediction. Both components work together to ensure low latency while maintaining high segmentation quality. On both Cityscapes and CamVid, the proposed framework obtained competitive performance compared to the state of the art, while substantially reducing the latency, from 360 ms to 119 ms.

研究の動機と目的

• 自律走行などのリアルタイム応用における低遅延動画セマンティックセグメンテーションの課題に対処すること。
• 平均コストは低減するが最大遅延は改善しない既存手法の限界を克服すること。
• 一様な重みではなく、空間的に適応的に変化する重みを用いることで、フレーム間での特徴再利用を向上させること。
• 精度を損なわず計算量を削減する動的キーフレームスケジューリング機構を設計すること。
• 従来の手法よりも、推論遅延とセグメンテーション精度のトレードオフをより良く実現すること。

提案手法

• 位置に特化した重みを用いて、過去のフレームからの特徴を適応的に融合する空間可変畳み込みに基づく特徴伝搬モジュールを導入。
• 精度予測を実行し、必要に応じてのみキーフレームの計算をトリガーする適応的スケジューラを採用。
• 高速推論を目的とした下位部と、高精度な特徴抽出を目的とした上位部からなる二本のブランチアーキテクチャを採用。
• キーフレーム計算と特徴伝搬を並列処理で統合し、無駄な待機時間を最小限に抑える。
• エンドツーエンドで学習可能なフレームワークに、適応的伝搬とスケジューリングモジュールを統合し、オンライン動画セグメンテーションを実現。
• 動的スケジューリング意思決定を導くために、中間特徴マップを精度予測に活用。

実験結果

リサーチクエスチョン

• RQ1 空間可変畳み込みを用いた適応的特徴伝搬は、動画ストリームにおける計算量を削減しつつ、セグメンテーション精度を向上させることができるか？
• RQ2 動的キーフレームスケジューリング戦略は、性能を劣化させることなく最大遅延を低減できるか？
• RQ3 ベンチマークデータセットにおける遅延とmIoUの観点から、提案フレームワークはSOTA手法と比べてどのように差をつけるか？
• RQ4 適応的スケジューラは、計算制約下でも、どれほどキーフレーム数を削減できるか？
• RQ5 適応的伝搬とスケジューリングの組み合わせにより、複雑で動的な環境でもリアルタイム性能を達成できるか？

主な発見

• 提案フレームワークは、Cityscapesデータセットで推論遅延を119msにまで低減し、ベースラインの360msから67%の削減を達成した。
• Cityscapesでは、平均交差率（mIoU）が82.9%に達し、以前のSOTA手法を上回った。
• CamVidデータセットでは、ピクセル精度が94.6%、クラス精度が82.9%を達成し、比較対象手法の中で最高水準であった。
• 適応的スケジューラは、固定レートおよびしきい値ベースのスケジューリングを常に上回り、計算制約下でも精度を向上させた。
• 遅延分析の結果、適応的伝搬モジュールとスケジューリングモジュールが合計遅延のそれぞれ10.5%および5.5%を占めるにとどまり、高い効率性を示した。
• CityscapesおよびCamVidにおける可視化結果は、特に動的または複雑なシーンで境界やテクスチャの詳細が顕著に向上していることを示した。