[論文レビュー] CyLKs: Unsupervised Cycle Lucas-Kanade Network for Landmark Tracking

Xinshuo Weng, Wentao Han|arXiv (Cornell University)|Nov 28, 2018

Video Surveillance and Tracking Methods参考文献 22被引用数 5

ひとこと要約

CyLKsは、人間によるアノテーションを必要とせず、ラプラス＝カナーデ（LK）トラッキングに有利な特徴表現を学習するための教師なし深層学習フレームワークを提案する。サイクル整合性損失を用いて、双方向トラッキングを可能にする。この手法は、THUMOSおよび300-VWデータセットにおいて、標準的なLKと比較して再投影誤差を最大90％まで低減し、ランドマークトラッキングの精度と頑健性を顕著に向上させた。

ABSTRACT

Across a majority of modern learning-based tracking systems, expensive annotations are needed to achieve state-of-the-art performance. In contrast, the Lucas-Kanade (LK) algorithm works well without any annotation. However, LK has a strong assumption of photometric (brightness) consistency on image intensity and is easy to drift because of large motion, occlusion, and aperture problem. To relax the assumption and alleviate the drift problem, we propose CyLKs, a data-driven way of training Lucas-Kanade in an unsupervised manner. CyLKs learns a feature transformation through CNNs, transforming the input images to a feature space which is especially favorable to LK tracking. During training, we perform differentiable Lucas-Kanade forward and backward on the convolutional feature maps, and then minimize the re-projection error. During testing, we perform the LK tracking on the learned features. We apply our model to the task of landmark tracking and perform experiments on datasets of THUMOS and 300VW.

研究の動機と目的

• 深層学習ベースのトラッキングにおいて、高価な人間によるアノテーションの必要性を排除するランドマークトラッキング手法の開発。
• 教師なし条件下で、照明変化、遮蔽、大規模な動きに対するラプラス＝カナーデアルゴリズムの頑健性を向上させること。
• 畳み込みニューラルネットワーク（CNN）を用いて、微分可能な前向きおよび後向きパスを通じてLKトラッキングの性能を向上させる特徴空間を学習すること。
• 大規模なラベルなし動画データを用いた学習により、多様な動画シーケンスへの一般化を可能にすること。
• 教師あり手法と比較して競争力のある性能を達成できる、教師なし事前学習の有効性を示すこと。

提案手法

• ソース画像およびテンプレート画像から特徴を抽出するためのCNNを学習し、LKトラッキングに有利な空間に変換する。
• 逆合成的最適化を用いて、学習済み特徴マップ上で微分可能な前向きおよび後向きのラプラス＝カナーデトラッキングを実行する。
• 初期ランドマーク位置と後向きトラッキング後の位置を比較することで、トラッキングループ全体での整合性を強制するため、サイクル整合性損失を最小化する。
• 前向きパスでトラッキングされたパッチが元のテンプレートパッチに近いことを保証するため、パッチ損失を適用する。
• サイクル損失とパッチ損失を組み合わせて、エンド・トゥ・エンドで自己教師付きの方法でCNNのパラメータを同時に最適化する。
• 大規模なラベルなし動画データを用いて、データオーグメンテーション（ランダムクロップ、水平反転、回転）を適用してネットワークを学習する。

実験結果

リサーチクエスチョン

• RQ1 教師なし深層学習フレームワークは、人間によるランドマークアノテーションを必要とせずに、ラプラス＝カナーデトラッキングの頑健性を向上させることができるか？
• RQ2 CNNを用いた特徴変換により、元の画像に対する標準的なLKと比較して、LKトラッキングの再投影誤差を顕著に低減できるか？
• RQ3 サイクル整合性損失は、前向きおよび後向きの正確な双方向トラッキングを可能にするために、特徴空間を効果的に正則化できるか？
• RQ4 本手法は、照明、動き、遮蔽が異なる多様な動画シーケンスにどの程度一般化できるか？
• RQ5 学習された特徴は、再学習なしに既存のLKベースのトラッカーの性能向上に応用可能か？

主な発見

• THUMOSデータセットでは、再投影誤差を標準LKの0.231から0.031に低下させ、相対的な改善率が86.6％に達した。
• 300-VWデータセットのシーケンスseq-3では、前向き誤差を4.816から3.525に57.5％低減した。
• 300-VWのシーケンスseq-18では、成功率を91.2％から93.9％に向上させ、トラッキング失敗に対する頑健性が向上したことを示した。
• サイクル損失は後向きトラッキング誤差を顕著に低減させ、seq-18では再投影誤差を0.567から0.102に57.5％低下させ、優れた特徴の一貫性を示した。
• THUMOSのBasketball-g06-c02シーケンスでは、99.5％の成功率を達成し、標準LKの97.1％を2.4百分率ポイント上回った。
• 本手法は多様なシーケンスにおいて強力な一般化性能を示し、遮蔽や照明変化といった困難な条件下でも低誤差と高い成功率を維持した。