[論文レビュー] Learning Correspondence from the Cycle-Consistency of Time

Xiaolong Wang, Allan Jabri+1 more|arXiv (Cornell University)|Mar 18, 2019

Video Surveillance and Tracking Methods参考文献 83被引用数 6

ひとこと要約

本論文は、時間的サイクル整合性を無料の教師信号として用いることで、ラベルなしの動画から視覚的対応関係を自己教師付きで学習する手法を提案する。時間的サイクルにわたる一貫性を持つトラッキングを学習する深層特徴ネットワークを訓練することで、オプティカルフロー、キーポointトラッキング、インスタンスセグメンテーションといった下流タスクへのゼロショット転移を可能にする汎用的表現を学習する。性能は教師あり手法と競合する。

ABSTRACT

We introduce a self-supervised method for learning visual correspondence from unlabeled video. The main idea is to use cycle-consistency in time as free supervisory signal for learning visual representations from scratch. At training time, our model learns a feature map representation to be useful for performing cycle-consistent tracking. At test time, we use the acquired representation to find nearest neighbors across space and time. We demonstrate the generalizability of the representation -- without finetuning -- across a range of visual correspondence tasks, including video object segmentation, keypoint tracking, and optical flow. Our approach outperforms previous self-supervised methods and performs competitively with strongly supervised methods.

研究の動機と目的

• ラベルなしの動画から人為的アノテーションや合成データを一切用いずに視覚的対応関係表現を学ぶこと。
• 動きや環境要因による外観変化が生じる動的シーンにおける対応関係学習の課題に対処すること。
• 動画内の時間的連続性を自己教師信号として活用し、表現学習を促進すること。
• 微調整なしに学習済み特徴を多様な対応関係タスクへゼロショット転移可能にすること。
• ピクセルレベルからオブジェクトレベルまでの抽象化レベルにまで一般化可能なスケーラブルでエンドツーエンドのフレームワークを開発すること。

提案手法

• 時間的サイクル整合性を自己教師的目的関数として用いる：パッチを前方向にトラッキングし、その後後退方向にトラッキングし、元の位置と最終位置の距離を損失とする。
• 微分可能トラッカーが深層特徴空間におけるテンプレートマッチングを実行し、対応関係を推定する。ネットワークはサイクル整合性を最小化するように訓練される。
• 局所的な時間的変換（照明変化、運動、隠蔽など）に対しても頑健な対応関係を実現する特徴表現を学習する。
• 複数のサイクル長を同時に最適化する。特に、隠蔽や急激なポーズ変化に対応するためのスキップサイクル（フレームを飛ばすサイクル）を含む。
• 訓練プロセスにより、短期間の外観変動に不変な視覚的類似性のメトリクスが暗黙的に学習される。
• テスト時に最終的な表現は、空間的・時間的領域における最近傍探索用のスタンドアロン距離メトリクスとして評価される。

実験結果

リサーチクエスチョン

• RQ1 時間的サイクル整合性は、人為的アノテーションなしに視覚的対応関係を学習する強力でスケーラブルな教師信号として機能するか？
• RQ2 生動画で訓練された自己教師的表現は、オプティカルフロー、キーポイントトラッキング、インスタンスセグメンテーションといった多様な対応関係タスクに一般化可能か？
• RQ3 性能と一般化能力の観点から、本手法は教師ありおよび先行の自己教師付き手法と比較してどのように差をつけるか？
• RQ4 隠蔽や急速な外観変化といった困難な状況下でも、モデルは頑健な対応関係を学習できるか？
• RQ5 複数のサイクル長とスキップサイクルの使用は、訓練の安定性と性能向上に寄与するか？

主な発見

• 本手法は、長距離オプティカルフローのDVS-2017データセットにおいて自己教師付き手法の中で最先端の性能を達成し、FlowNet2ベンチマークで15.6%のmIoUを記録した。
• 人間の部位ラベル伝搬タスクのVIPデータセットにおいて、0.5のIoU閾値で23.0%の$AP^{r}_{ ext{vol}}$を達成し、ImageNet事前学習済みResNet-50（24.2%）を上回った。
• テクスチャ伝搬タスクでは、6色のストライプがフレーム間で構造を保持して正しく伝搬され、正確な対応関係学習を示した。
• 動画フレーム再構成タスクでは、ピxlsレベルの訓練なしにもかかわらず、FlowNet2やImageNet事前学習モデルを下回るL1再構成誤差（5フレームギャップで60.4、10フレームギャップで76.4）を達成した。
• 微調整なしに、動画オブジェクトセグメンテーション、キーポイントトラッキング、オプティカルフローといった多様なタスクへのゼロショット転移が可能である。
• 完全に教師ありのモデルと競合する性能を示し、VIPデータセットで37.9%のmIoUを達成。完全教師ありSOTA（37.9%）に非常に近い結果を出した。