[論文レビュー] Object-Centric Representation Learning from Unlabeled Videos

Ruohan Gao, Dinesh Jayaraman+1 more|arXiv (Cornell University)|Dec 1, 2016

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 8

ひとこと要約

本稿では、トラッキングを必要とせず、領域提案（region proposals）を用いて不変特徴を学習する、ラベルなし動画向けのオブジェクト中心の教師なし表現学習フレームワークを提案する。空間的・時間的に隣接するオブジェクトらしき領域を対象にシアンプル・トリプレットネットワークを訓練することで、画像分類およびリtrievalタスクにおいて、MIT Indoor 67、PASCAL VOC 2007、VOC 2012の各ベンチマークで、先行する教師なし手法を上回る最先端の性能を達成した。

ABSTRACT

Supervised (pre-)training currently yields state-of-the-art performance for representation learning for visual recognition, yet it comes at the cost of (1) intensive manual annotations and (2) an inherent restriction in the scope of data relevant for learning. In this work, we explore unsupervised feature learning from unlabeled video. We introduce a novel object-centric approach to temporal coherence that encourages similar representations to be learned for object-like regions segmented from nearby frames. Our framework relies on a Siamese-triplet network to train a deep convolutional neural network (CNN) representation. Compared to existing temporal coherence methods, our idea has the advantage of lightweight preprocessing of the unlabeled video (no tracking required) while still being able to extract object-level regions from which to learn invariances. Furthermore, as we show in results on several standard datasets, our method typically achieves substantial accuracy gains over competing unsupervised methods for image classification and retrieval tasks.

研究の動機と目的

• 高価な手動アノテーションに依存する教師あり事前学習の限界を解消し、静的でラベル付きの画像分布に限定された学習を回避する。
• 従来の教師なし動画手法の欠点を克服する。これらは、全体フレームを埋め込む（局所的不変性を失う）か、複雑なトラッキングを要する（運動に偏り、計算コストが高くなる）。
• 全フレームやトラッキングされたパッチではなく、オブジェクト中心の領域に注目することで、ラベルなし動画から強固なオブジェクトレベルの不変性を学習可能にする。
• 教師なしで、下流の認識タスクに適した汎用的な特徴を、オブジェクト提案に基づく表現学習によって得られることを実証する。

提案手法

• 選択的サーチ（Selective Search）を用いて、個々の動画フレーム上でオブジェクトに類似した領域提案を生成する。
• 連続するフレーム間で空間的・時間的に隣接する領域提案ペアを、正例として特定する。
• 空間的・時間的に近接する領域ペア（正例）を特徴空間内で近づける一方で、負例ペアを遠ざけるように、シアンプル・トリプレットネットワークを訓練する。
• 対照的損失関数（contrastive loss objective）を用いて、外観やポーズの変化があっても、同じオブジェクトまたはオブジェクト部品の領域提案が類似した埋め込みにマップされることを強制する。
• 時間的に連続するフレームが徐々に変化する動画の時間的整合性を活用し、明示的なトラッキングなしにオブジェクトレベルの不変性を学習する。
• 領域提案を入力として、トリプレット損失に基づく深層畳み込みニューラルネットワーク（CNN）を訓練することで、汎用的でオブジェクトレベルの表現を学習可能にする。

実験結果

リサーチクエスチョン

• RQ1 ラベルなし動画からのオブジェクト中心の表現学習は、全体フレームベースやトラッキングベースの教師なし手法を上回ることができるか？
• RQ2 全フレームやトラッキングされたパッチではなく、領域提案からの学習が、視覚認識タスクにおけるより優れた不変性と一般化性能をもたらすか？
• RQ3 軽量でトラッキングを不要とする手法が、最先端の教師なし事前学習ベースラインと同等の性能を達成できるか？
• RQ4 限定的なラベル付きデータで微調整した場合、提案手法の有効性はどの程度高いか？
• RQ5 オブジェクト提案の使用が、静的または部分的に動くオブジェクトにおいて、動き以外の不変性（例：照明変化、視点変化）を捉えるのに有効か？

主な発見

• MIT Indoor 67では38.1%の精度を達成し、すべてのベースライン教師なし手法を上回り、同等のデータ設定下で視覚的トラッキングベースライン[7]を1.5%上回った。
• PASCAL VOC 2007では45.6%のmAPを達成し、次に優れた教師なし手法（Pathakら[12]）を2.9ポイント、視覚的トラッキングベースラインを2.0ポイント上回った。
• PASCAL VOC 2012では44.1%のmAPを達成し、視覚的トラッキングベースライン[7]を2.0ポイント、次に優れたベースラインを1.8ポイント上回った。
• 自己教師あり事前学習設定下では、MIT Indoor 67で34%の精度、VOC 2007で46%のmAPを達成し、ランダムなガウス初期化（28.9%と41.3%）および他の教師なしベースラインを顕著に上回った。
• アブレーションスタディにより、領域提案ベースの学習が、全フレームや正方形領域ベースの手法よりも効果的であることが確認され、局所的・オブジェクト中心の学習の利点が示された。
• 本手法は下流タスクへの一般化性が高く、わずかなラベル付きデータで微調整しても、他のすべての教師なし事前学習ベースラインを一貫して上回った。