[論文レビュー] MAST: A Memory-Augmented Self-supervised Tracker

Zihang Lai, Erika Lu+1 more|arXiv (Cornell University)|Feb 18, 2020

Video Surveillance and Tracking Methods参考文献 71被引用数 8

ひとこと要約

MASTは、人間によるアノテーションデータを一切使用せずに、密追跡ベンチマークで最先端の性能を達成するメモリ拡張型自己教師付きトラッカーを提案する。再構成損失の最適化と粗くから細かくまでのメモリ機構の統合により、MASTはDAVIS-2017で前人を15%上回り、YouTube-VOSでは17%上回り、教師あり手法と同等の性能を示し、未学習のオブジェクトカテゴリへの優れたゼロショット一般化性能を示している。

ABSTRACT

Recent interest in self-supervised dense tracking has yielded rapid progress, but performance still remains far from supervised methods. We propose a dense tracking model trained on videos without any annotations that surpasses previous self-supervised methods on existing benchmarks by a significant margin (+15%), and achieves performance comparable to supervised methods. In this paper, we first reassess the traditional choices used for self-supervised training and reconstruction loss by conducting thorough experiments that finally elucidate the optimal choices. Second, we further improve on existing methods by augmenting our architecture with a crucial memory component. Third, we benchmark on large-scale semi-supervised video object segmentation(aka. dense tracking), and propose a new metric: generalizability. Our first two contributions yield a self-supervised network that for the first time is competitive with supervised methods on standard evaluation metrics of dense tracking. When measuring generalizability, we show self-supervised approaches are actually superior to the majority of supervised methods. We believe this new generalizability metric can better capture the real-world use-cases for dense tracking, and will spur new interest in this research direction.

研究の動機と目的

• 自己教師付きと教師ありの密追跡の性能格差を、訓練目的とアーキテクチャの改善によって埋める。
• キーフレーム特徴を格納・取得する新しいメモリ拡張機構により、長時間のシーケンスにおけるトラッカーのドリフトを是正する。
• 実世界の分布外オブジェクトカテゴリでの性能をよりよく反映するため、新しい評価指標「一般化性能」を提案する。
• 自己教師学習が、意味的アノテーションなしで、強力で普遍的な追跡表現を学習できることを示す。
• 自己教師学習モデルが、未学習のオブジェクトカテゴリに対して、多くの教師ありモデルよりも優れた一般化性能を示すことを検証する。

提案手法

• 広範なアブレーションスタディを通じて、自己教師付き訓練目的、特に再構成損失を再評価・最適化する。
• キーフレームからの特徴を格納するメモリバンクを導入し、長距離の文脈情報を得て、トラッキングドリフトを軽減する。
• 2段階のアテンション機構を採用：粗い検索の後に細かい一致を実行し、関連するメモリ特徴を効率的に取得する。
• メモリ特徴へのアクセスにおいて、正確性と計算効率のバランスを取るために、粗くから細かくまでの戦略を採用する。
• インスタンスレベルのアノテーションを一切使用せず、大規模な未編集動画データセット上でモデルをエンドツーエンドに訓練する。
• 対照的学習と特徴再構成を活用し、ピクセル単位の追跡に適した判別力があり一般化可能な表現を学習する。

実験結果

リサーチクエスチョン

• RQ1 密追跡において最良のパフォーマンスを達成する自己教師付き訓練目的と再構成損失は何か？
• RQ2 メモリ機構は、自己教師付き追跡における長期的追跡のロバスト性を向上させ、ドリフトを低減するのにどのように寄与するか？
• RQ3 自己教師付きトラッカーにおいて、最適なメモリフレームの選択とアクセス戦略は何か？
• RQ4 実世界のシナリオにおいて、自己教師学習モデルは、教師ありモデルよりも未学習のオブジェクトカテゴリに優れた一般化性能を示せるか？
• RQ5 提案された一般化性能指標は、標準的な指標と比較して、実世界の追跡パフォーマンスを評価する上でどのように異なるか？

主な発見

• YouTube-VOSでは64.2%の平均JIoUを達成し、前回の最良自己教師手法（46.6%）より17.6%の向上を示し、多くの教師ありベースラインを上回った。
• DAVIS-2017では64.2%の平均JIoUを達成し、前回の自己教師手法より15%の相対的向上を示し、教師ありモデルと同等の性能を示した。
• YouTube-VOSでは、学習済みと未学習のカテゴリ間の一般化ギャップがわずか0.4にとどまり、ベースラインの平均11.5よりも著しく低い水準だった。
• 微調整なしでも、MASTは未学習カテゴリで2018年YouTube-VOSコンテスト優勝者（PreMVOS）を3.9%上回り、強力なゼロショット一般化性能を示した。
• OSVOS や STM などの教師あり手法と同等の性能を示したが、インスタンスレベルのアノテーションやドメイン適応を一切必要としなかった。
• アブレーションスタディにより、短期および長期の両方のメモリが最適パフォーマンスを達成するために不可欠であることが確認され、メモリ拡張アーキテクチャの設計が妥当であることが裏付けられた。