[論文レビュー] TTVOS: Lightweight Video Object Segmentation with Adaptive Template Attention Module and Temporal Consistency Loss

Hyojin Park, Ganesh Venkatesh+1 more|arXiv (Cornell University)|Nov 9, 2020

Visual Attention and Saliency Detection参考文献 46被引用数 4

ひとこと要約

TTVOSは、短時間および長時間のマッチングを用いた適応的テンプレートマッチングを用いて、速度と精度のバランスをとった軽量な半教師付き動画オブジェクトセグメンテーションモデルを提案する。誤り伝搬を低減するための遷移行列を用いた時間的整合性損失を導入し、DAVIS16で79.5%のJ&Fスコアを73.8 FPSで達成し、従来の高速手法を上回りながらも高い効率性を維持している。

ABSTRACT

Semi-supervised video object segmentation (semi-VOS) is widely used in many applications. This task is tracking class-agnostic objects from a given target mask. For doing this, various approaches have been developed based on online-learning, memory networks, and optical flow. These methods show high accuracy but are hard to be utilized in real-world applications due to slow inference time and tremendous complexity. To resolve this problem, template matching methods are devised for fast processing speed but sacrificing lots of performance in previous models. We introduce a novel semi-VOS model based on a template matching method and a temporal consistency loss to reduce the performance gap from heavy models while expediting inference time a lot. Our template matching method consists of short-term and long-term matching. The short-term matching enhances target object localization, while long-term matching improves fine details and handles object shape-changing through the newly proposed adaptive template attention module. However, the long-term matching causes error-propagation due to the inflow of the past estimated results when updating the template. To mitigate this problem, we also propose a temporal consistency loss for better temporal coherence between neighboring frames by adopting the concept of a transition matrix. Our model obtains 79.5% J&F score at the speed of 73.8 FPS on the DAVIS16 benchmark. The code is available in https://github.com/HYOJINPARK/TTVOS.

研究の動機と目的

• 半教師付き動画オブジェクトセグメンテーション（semi-VOS）における推論速度と精度のトレードオフを解決すること。
• 長期間にわたりテンプレートを更新する際に、過去の推定マスクを利用することで生じる誤り伝搬を軽減すること。
• 光学的フローまたは高コストのメモリネットワークに依存せずに、マスク品質と時間的整合性を向上させること。
• 実世界のデプロイに適した、高速で正確かつ軽量なモデルを開発すること。

提案手法

• 局所化に直近のフレームを用いる短時間マッチングと、微細なディテールの保持を図るための適応的テンプレートを用いる長時間マッチングを組み合わせた二重マッチング機構を導入する。
• 特徴量の再抽出や追加メモリを用いずに、現在の推定マスクから長期間テンプレートを更新する適応的テンプレートアテンションモジュールを提案する。
• 遷移行列に基づく新しい時間的整合性損失を設計し、過去のフレームからの誤って予測されたピクセルを是正し、誤り伝搬を防止する。
• クロスエントロピー損失と提案された時間的整合性損失を組み合わせた、軽量なバックボーン（例：ResNet18）を用いて、効率的な学習を実現する。
• ピクセル単位の状態遷移をモデル化するための遷移行列を用い、誤検出（フォールスポジティブ）および誤検出（フォールスネガティブ）の是正を促進する。
• 他のモデル（例：FRTM-VOS）に対しても時間的整合性損失を適用し、その汎用性と精度向上効果を実証する。

実験結果

リサーチクエスチョン

• RQ1 テンプレートベースの手法は、半教師付きVOSにおいて、高速な推論速度を維持しながら高い精度を達成できるか？
• RQ2 長期間にわたるテンプレートベースのトラッキングにおいて、過去の予測から生じる誤り伝搬をどのように軽減できるか？
• RQ3 光学的フローを用いずに、遷移行列に基づく時間的整合性損失がマスクの整合性を向上させられるか？
• RQ4 提案された適応的テンプレートアテンションモジュールは、固定またはグローバルコンテキストテンプレートに比べ、形状の変化に対応する上で優れているか？
• RQ5 時間的整合性損失は、他の軽量VOSモデルの精度向上にも一般化可能か？

主な発見

• TTVOSはDAVIS16ベンチマークで73.8 FPSの速度で79.5%のJ&Fスコアを達成し、高い精度と低い計算コストを両立している。
• アブレーションスタディの結果、短時間および長時間マッチングを組み合わせた（Exp6）場合が最も優れた性能を示し、単一のマッチングタイプのみを用いるモデルを上回っている。
• FRTM-VOSに時間的整合性損失を適用した場合、DAVIS16で1.7%、DAVIS17で1.6%の精度向上が見られた。
• 長期間マッチングのみを用いる場合に比べ、オブジェクトの識別をより良く維持できており、特に複数オブジェクトトラッキングの場面で失敗が減少している（DAVIS17で実証）。
• 追加の特徴抽出やメモリオーバーヘッドなしに、適応的テンプレート更新機構によりマスク品質が向上している。
• 時間的整合性損失は、特に軽量モデルにおいて誤り伝搬を顕著に低減し、過去のフレームからの誤って予測されたピクセルを是正する。