[論文レビュー] AuxAdapt: Stable and Efficient Test-Time Adaptation for Temporally Consistent Video Semantic Segmentation

Yizhe Zhang, Shubhankar Borse+2 more|arXiv (Cornell University)|Oct 24, 2021

Advanced Image Processing Techniques被引用数 5

ひとこと要約

AuxAdaptは、光流やクロスフレーム特徴量に依存せずに時間的整合性を向上させる、安定的で効率的なテスト時適応手法を提案する。主ネットワークは凍結されたまま、リアルタイムに更新される軽量な補助ネットワーク（AuxNet）を用いることで、最先端の手法と比較して5倍少ない計算コストで時間的整合性を顕著に向上させた。

ABSTRACT

In video segmentation, generating temporally consistent results across frames is as important as achieving frame-wise accuracy. Existing methods rely either on optical flow regularization or fine-tuning with test data to attain temporal consistency. However, optical flow is not always avail-able and reliable. Besides, it is expensive to compute. Fine-tuning the original model in test time is cost sensitive. This paper presents an efficient, intuitive, and unsupervised online adaptation method, AuxAdapt, for improving the temporal consistency of most neural network models. It does not require optical flow and only takes one pass of the video. Since inconsistency mainly arises from the model's uncertainty in its output, we propose an adaptation scheme where the model learns from its own segmentation decisions as it streams a video, which allows producing more confident and temporally consistent labeling for similarly-looking pixels across frames. For stability and efficiency, we leverage a small auxiliary segmentation network (AuxNet) to assist with this adaptation. More specifically, AuxNet readjusts the decision of the original segmentation network (Main-Net) by adding its own estimations to that of MainNet. At every frame, only AuxNet is updated via back-propagation while keeping MainNet fixed. We extensively evaluate our test-time adaptation approach on standard video benchmarks, including Cityscapes, CamVid, and KITTI. The results demonstrate that our approach provides label-wise accurate, temporally consistent, and computationally efficient adaptation (5+ folds overhead reduction comparing to state-of-the-art test-time adaptation methods).

研究の動機と目的

• 不安定または高コストな光流に依存する場合の動画セマンティックセグメンテーションにおける時間的整合性の欠如という課題に対処すること。
• 主セグメンテーションネットワークを変更せずに、効率的で自己教師ありかつオンラインな適応手法を開発し、整合性を向上させること。
• DVPのような既存のテスト時適応手法がテスト動画で多数再訓練を要するのと比較し、計算コストを低減すること。
• モデルの不確実性と信頼度に基づくサンプリングを活用し、1フレームあたり1回の順方向伝搬のみで安定した適応を実現すること。

提案手法

• AuxAdaptは、事前に学習済みの主ネットワーク（MainNet）とは別に、小さな補助セグメンテーションネットワーク（AuxNet）を導入し、推論中に同時に動作させる。
• 各フレームで、主ネットワークの予測と、主ネットワークおよび補助ネットワークの出力の集約値との乖離に基づく損失関数を用いて、バックプロパゲーションによりのみAuxNetが更新される。
• 最終的なセグメンテーション予測は、主ネットワークと補助ネットワークの出力の重み付き和として計算され、補助ネットワークが主ネットワークの予測の整合性の欠如を是正する。
• 効率性を向上させるために、信頼度に基づく空間的サンプリングを採用し、低信頼度ピクセルのみを更新することで計算量を削減する。
• 動的な学習率調整を実現するため、動きに適応するモーメンタムを用い、多様な動画シーケンスにおいて時間的整合性と正確性のバランスを最適化する。
• 本手法はオンラインかつストリーミング形式で適用可能であり、1回の動画走査で十分で、光流や特徴マッチングを一切不要としない。

Figure 1 : Segmentations of two pairs of consecutive video frames. Columns 1 and 3 show the results of the state-of-the-art HRNet-w48 model [ 40 ] . Columns 2 and 4 are obtained by applying our efficient AuxAdapt to HRNet-48. As visible, AuxAdapt improves the temporal consistency significantly.

実験結果

リサーチクエスチョン

• RQ1 光流やクロスフレーム対応を一切使わず、動画セマンティックセグメンテーションにおける安定的で効率的なテスト時適応を達成できるか？
• RQ2 推論中にモデル自身の予測のみを用いて、時間的整合性をどのように向上させられるか？
• RQ3 軽量な補助ネットワークが、計算コストを最小限に抑えながらも、凍結された主ネットワークの整合性欠如を効果的に是正できるか？
• RQ4 空間的サブサンプリングと適応的モーメンタムが、テスト時適応における効率性と性能に与える影響は何か？

主な発見

• CityscapesではHRNet-w48-s4を用いて75.8%の時間的整合性（TC）スコア、KITTIでは63.5%を達成し、ベースライン手法を顕著に上回った。
• DVPのような最先端のテスト時適応手法と比較して、5倍以上も計算コストを削減し、KITTIではわずか189 GMACs/Fの計算負荷に抑えた。
• 信頼度ベースのサンプリングにより、KITTIでは更新ピクセル数を最大82%まで削減しながらも、高いTCスコアの向上を維持した。
• 動きに適応するモーメンタムは、TCとmIoUのバランスを改善し、固定モーメンタム設定よりも複数のデータセットで優れた性能を示した。
• 10フレームに1回の間欠的適応でも、Cityscapesでは74.7%、KITTIでは59.9%の高いTCスコアを維持し、更新頻度に強く依存しない安定性を示した。
• クロスデータセット適応（CityscapesからKITTI）においても、mIoUは65.8%を維持しながら、TCを57.4%から63.5%まで向上させ、完全微調整による過学習を回避した。

Figure 2 : Left: Deep Video Prior (DVP) [ 25 ] first applies the original network to all video frames. The outputs, together with the corresponding inputs, are collected to form a training set. A new network is then trained based on this set using at least 25 epochs. Finally, the retrained network i