[論文レビュー] Learning Features by Watching Objects Move

Deepak Pathak, Ross Girshick+3 more|arXiv (Cornell University)|Dec 19, 2016

Advanced Image and Video Retrieval Techniques被引用数 18

ひとこと要約

本論文は、動画からの動きに基づくセグメンテーションを偽正例として用い、静的画像におけるオブジェクトのセグメンテーションを学習する、新しい非教師あり特徴学習手法を提案する。Gestaltの共通運命の原則を活用することで、オブジェクト検出の転移学習において、特にデータが限られる状況下でも、先行する非教師あり手法を著しく上回る高レベルの視覚的表現を学習する。

ABSTRACT

This paper presents a novel yet intuitive approach to unsupervised feature learning. Inspired by the human visual system, we explore whether low-level motion-based grouping cues can be used to learn an effective visual representation. Specifically, we use unsupervised motion-based segmentation on videos to obtain segments, which we use as 'pseudo ground truth' to train a convolutional network to segment objects from a single frame. Given the extensive evidence that motion plays a key role in the development of the human visual system, we hope that this straightforward approach to unsupervised learning will be more effective than cleverly designed 'pretext' tasks studied in the literature. Indeed, our extensive experiments show that this is the case. When used for transfer learning on object detection, our representation significantly outperforms previous unsupervised approaches across multiple settings, especially when training data for the target task is scarce.

研究の動機と目的

• 人間の視覚発達にインspiredされた、シンプルで直感的な非教師あり表現学習手法の開発。動きの手がかりがオブジェクトのグループ化を導く。
• 教師あり事前学習の限界を克服し、手動のアノテーションを不要としつつも、強力な転移性能を維持すること。
• 動きに基づくグループ化の手がかりが、意味的ラベルなしで一般化可能な視覚的特徴を学習するための有効な監視信号として機能するかを検証すること。
• 特にラベル付きデータが限られる状況下で、学習された特徴のスケーラビリティと転送可能性を複数の下流タスクで評価すること。

提案手法

• 動画に対して光流を用いて、一緒に動くピクセルをまとめて一貫性のあるオブジェクトセグメントに分類する非教師ありの動きベースのセグメンテーションを実行する。
• 得られた動きベースのセグメンテーションを、静的画像からオブジェクトマスクを予測するための偽正例ラベルとして扱う。
• 推論時に動き情報にアクセスできない状況下で、単一のフレームからの外観特徴のみを用いて、これらの動き由来のマスクを予測する畳み込みニューラルネットワークを訓練する。
• 限られたラベル付きデータを用いて、オブジェクト検出、画像分類、セマンティックセグメンテーションなどの下流タスクで、学習された表現をファインチューニングする。
• マルチスケールの完全畳み込みネットワークアーキテクチャを用いることで、タスク間でのエンドツーエンドの特徴学習と転送を可能にする。
• 動きの手がかりが、曖昧な静的グループ化を解消する助けとなり、ネットワークが低レベルの外観特徴に依存するのではなく、オブジェクトレベルの意味的特徴を学習するよう強制されることを活用する。

実験結果

リサーチクエスチョン

• RQ1 カレントされない動画から得られる動きに基づくグループ化の手がかりが、非教師ありで一般視覚表現を学習するための有効な監視信号として機能するか？
• RQ2 静的画像から動き由来のセグメンテーションを予測するように畳み込みネットワークを訓練することで、他の事前学習タスクと比較して、より一般化性の高い特徴が得られるか？
• RQ3 学習に使用するラベルなし動画データ量が増加するにつれて、学習された表現の性能はどのように変化するか？
• RQ4 限られたラベル付きデータでファインチューニングした際に、この手法が既存の非教師あり事前学習手法をどの程度上回るか？

主な発見

• 提案手法は、PASCAL VOC 2007 オブジェクト検出タスクにおいて、非教師あり事前学習手法の中で最先端の性能を達成し、先行する非教師あり手法を10ポイントAP上回り、ImageNet事前学習モデルの性能に近づいた。
• 限られたデータでファインチューニングした際、特により多くの層を固定した場合に顕著に他の非教師あり手法を上回り、高層層特徴からの強力な一般化能力を示した。
• 学習データ量の増加に伴い、表現の質が対数的に向上する傾向を示しており、十分に大きなウェブスケールの動画データ（例：約2700万フレーム）が得られれば、ImageNet事前学習を上回る可能性がある。
• 画像分類およびセマンティックセグメンテーションタスクでは、VOC 2007で2位を記録し、VOC 2011でも上位に位置づけられ、特に動的コンテンツを含む動画データのおかげで、アクション分類において顕著な優位性を示した。
• ノイズの多い動きベースのセグメンテーションを、モデルが改善する能力を持つことが実証され、ノイズが多く、非教師ありの手がかりからも意味のある信号を抽出できる能力を示した。
• YFCC100Mデータセットからわずか160万フレームのみを用いても、強い性能を発揮し、データ量の増加に伴い、精度が著しく向上した。