[論文レビュー] Unsupervised Object-Level Representation Learning from Scene Images

Jiahao Xie, Xiaohang Zhan+3 more|arXiv (Cornell University)|Jun 22, 2021

Domain Adaptation and Few-Shot Learning参考文献 74被引用数 7

ひとこと要約

本論文は、アノテーションなしでシーン画像内でのクロス画像オブジェクトインスタンス対応関係を発見するために、事前学習済みの画像レベル対照学習を事前知識として活用する自己教師ありフレームワーク、オブジェクトレベル表現学習（ORL）を提案する。埋め込み空間におけるk-NN類似度を用いることで、画像間で意味的に整合するオブジェクト領域を特定し、効果的なオブジェクトレベル対照学習を実現する。この手法は、COCOの下流タスクにおいて、教師ありImageNet事前学習を上回り、特に非ラベル付きデータが増えると顕著に性能向上を示す。

ABSTRACT

Contrastive self-supervised learning has largely narrowed the gap to supervised pre-training on ImageNet. However, its success highly relies on the object-centric priors of ImageNet, i.e., different augmented views of the same image correspond to the same object. Such a heavily curated constraint becomes immediately infeasible when pre-trained on more complex scene images with many objects. To overcome this limitation, we introduce Object-level Representation Learning (ORL), a new self-supervised learning framework towards scene images. Our key insight is to leverage image-level self-supervised pre-training as the prior to discover object-level semantic correspondence, thus realizing object-level representation learning from scene images. Extensive experiments on COCO show that ORL significantly improves the performance of self-supervised learning on scene images, even surpassing supervised ImageNet pre-training on several downstream tasks. Furthermore, ORL improves the downstream performance when more unlabeled scene images are available, demonstrating its great potential of harnessing unlabeled data in the wild. We hope our approach can motivate future research on more general-purpose unsupervised representation learning from scene data.

研究の動機と目的

• ランダムクロップによる一貫性のないオブジェクトレベル信号が、複雑なシーン画像における標準的対照自己教師あり学習に失敗する原因となることに対処すること。
• オブジェクトアノテーションなしで、事前学習済みの画像レベル対照モデルの潜在的事前知識を活用して、画像間のオブジェクトレベル対応関係を発見すること。
• 非ラベル付きシーン画像からオブジェクトレベル表現学習を可能にするマルチステージ自己教師ありパイプラインを開発すること。
• 大規模なシーンデータで学習した場合に、オブジェクトレベル表現学習が教師ありImageNet事前学習を下流タスクで上回ることを実証すること。

提案手法

• 未教師あり領域提案手法（例：selective search）を用いて、シーン画像から候補オブジェクト領域を抽出する。
• 事前学習済みの画像レベル対照学習モデル（例：BYOL）を活用し、画像特徴を埋め込み、オブジェクトまたはオブジェクト部品に対応する高応答領域を特定する。
• 埋め込み空間におけるk近傍探索（k-NN）を用いて、異なる画像間の領域対応関係を発見する。
• 発見された画像間オブジェクトインスタンス対応関係に基づき、対照学習用のポジティブペアを構築する。
• 発見されたポジティブペアを用いて、オブジェクトレベル対照学習を最適化するマルチステージ自己教師ありフレームワークを訓練する。
• 得られたオブジェクトレベル表現を、検出、セグメンテーション、分類タスクにおける下流の転移学習に活用する。

実験結果

リサーチクエスチョン

• RQ1 画像レベル対照自己教師あり学習モデルは、画像間のオブジェクトレベル対応関係を発見するための事前知識を暗黙的にエンコードしているか？
• RQ2 このような事前知識を活用することで、アノテーションなしで複雑なシーン画像において未教師ありオブジェクトレベル表現学習が可能になるか？
• RQ3 COCOのような大規模なシーンデータセットで事前学習する際、オブジェクトレベル対照学習は標準的画像レベル対照学習を上回るか？
• RQ4 非ラベル付きシーンデータの量が増えるにつれて、オブジェクトレベル表現学習の性能が向上するか？
• RQ5 COCOで学習した場合に、オブジェクトレベル表現学習は教師ありImageNet事前学習を下流タスクで上回るか？

主な発見

• ORLは、Mask R-CNNを用いてCOCOオブジェクト検出で39.5 mAPを達成し、教師ありImageNet事前学習の38.5 mAPを上回った。
• COCOインスタンスセグメンテーションでは、ORLが35.4 mAPを達成し、教師ありImageNet事前学習の34.8 mAPを上回った。
• ORLの性能は、非ラベル付きシーン画像の量が増えるにつれて向上し、大規模な野生データへの強いスケーラビリティを示した。
• 本手法は、画像間で意味的に整合するオブジェクトインスタンスペアを発見できており、埋め込み空間における高応答領域が一貫して実際のオブジェクトまたはオブジェクト部品に対応していた。
• ORLのアテンションマップは、画像レベルBYOLよりもより正確なオブジェクト境界局在を示しており、より優れたオブジェクトに依存する特徴学習が実現していることを示した。
• COCOで再現したBYOLは39.5 mAPを達成し、ベースライン性能を確認するとともに、実験設定の妥当性を裏付けた。