[論文レビュー] Joint-task Self-supervised Learning for Temporal Correspondence

Xueting Li, Sifei Liu+4 more|arXiv (Cornell University)|Sep 26, 2019

Video Surveillance and Tracking Methods被引用数 53

ひとこと要約

自己監督型フレームワークは、共有のフレーム間親和性マトリックスを用いて、動画フレーム間の領域レベルの定位とピクセルレベルの密接な対応を同時に学習し、注釈なしでさまざまな動画対応タスクを改善する。

ABSTRACT

This paper proposes to learn reliable dense correspondence from videos in a self-supervised manner. Our learning process integrates two highly related tasks: tracking large image regions \emph{and} establishing fine-grained pixel-level associations between consecutive video frames. We exploit the synergy between both tasks through a shared inter-frame affinity matrix, which simultaneously models transitions between video frames at both the region- and pixel-levels. While region-level localization helps reduce ambiguities in fine-grained matching by narrowing down search regions; fine-grained matching provides bottom-up features to facilitate region-level localization. Our method outperforms the state-of-the-art self-supervised methods on a variety of visual correspondence tasks, including video-object and part-segmentation propagation, keypoint tracking, and object tracking. Our self-supervised method even surpasses the fully-supervised affinity feature representation obtained from a ResNet-18 pre-trained on the ImageNet.

研究の動機と目的

• 注釈なしの映像から視覚的対応の学習を動機づけ、領域レベルとピクセルレベルのタスクを統合する。
• 局在化と高精度マッチングの両方を支える単一のフレーム間変換（アフィニティ）を開発する。
• 時系列の一貫性、サイクル整合性、エネルギー保存を自己監督信号として活用する。
• 共同タスク学習が、複数の動画注釈伝搬ベンチマークでより良いまたは競合的な性能をもたらすことを示す。

提案手法

• 領域レベルとピクセルレベルの変換をモデル化する共有のフレーム間アフィニティ行列 A を用いた、共同タスク自己監督ネットワークを導入する。
• A は、学習された特徴埋め込み f を用いた softmax 正規化ドット積類似度により計算され、スパース性とワンツー対応を促進する。
• A を使用してカラー表現を変換し、フレーム間でピクセル位置を追跡し、領域の定位と高精度マッチングの両方を可能にする。
• 領域レベルの定位は、参照フレームからターゲットフレーム内のパッチを局在化し、ターゲットフレーム内の境界ボックスを推定する。
• 細粒度のマッチングは、A からのサブアフィニティとカラーオートエンコーダを用いて、ターゲットフレーム内の局在化したパッチのカラー情報を再構成し、頑健なカラー表現を得る。
• 直交性（サイクル整合性）と集中化正則化を適用して、フレーム間で一貫した局所的な単一移動の期待を課す。

実験結果

リサーチクエスチョン

• RQ1 1つのフレーム間アフィニティを用いて、領域レベルとピクセルレベルの視覚的対応を自己監督的に共同学習できるか。
• RQ2 フレーム間アフィニティを共有することで、領域定位と密なピクセルマッチングの頑健性と精度は向上するか。
• RQ3 どの自己監督信号（時系列の一貫性、サイクル整合性、エネルギー保存）が、学習された変換を最もよく正規化し、異なるドメインでの一般化を促進するか。
• RQ4 提案された共同タスク法は、自己監督および監視付きベースラインと比較して、ビデオオブジェクトセグメンテーション、キーポイント追跡、およびパーツ/セマンティック伝搬でどう性能を示すか。

主な発見

• 共有アフィニティ行列を用いた共同タスクフレームワークは、複数の動画対応タスクで最先端の自己監督法を上回る。
• この手法は、一部の伝搬ベンチマークにおいて注釈からの監督なしにもImageNetで事前学習されたResNet-18を打ち負かすことができる。
• アフィニティを介して領域定位と細粒度マッチングが相互に利益をもたらし、定位精度を向上させ、マッチングの探索空間を削減する。
• 正則化—直交性（サイクル整合性）と集中化—は、局所的構造の保持と頑健なマッチングに大きく寄与する。
• アブレーション研究により、定位の同時訓練と滑らかな正則化を組み合わせると、これらの要素を削除した場合よりも、DAVIS-2017、VIP、J-HMDB、OTB2015 のデータセットでより良い指標が得られる。