[論文レビュー] Self-Supervised Visual Representation Learning from Hierarchical Grouping

Xiao Zhang, Michael Maire|arXiv (Cornell University)|Dec 5, 2020

Advanced Image and Video Retrieval Techniques参考文献 49被引用数 29

ひとこと要約

本論文は、小規模な教師ありホロウ検出器から出発し、大規模なラベルなしデータセットにおいて階層的な領域グループ化を生成する自己教師あり視覚表現学習フレームワークを提案する。これらのグループ化を対照的学習の指導信号として用いることで、ランダム初期化から開始したCNNを訓練し、ラベルなしデータを除き500枚の画像のみを初期プリミティブに用いて、セマンティックピクセル埋め込みを生成する。この手法は、ラベルなしデータを用いたセマンティックセグメンテーション、領域検索、動画インスタンス追跡といった下流タスクで最先端の性能を達成する。

ABSTRACT

We create a framework for bootstrapping visual representation learning from a primitive visual grouping capability. We operationalize grouping via a contour detector that partitions an image into regions, followed by merging of those regions into a tree hierarchy. A small supervised dataset suffices for training this grouping primitive. Across a large unlabeled dataset, we apply this learned primitive to automatically predict hierarchical region structure. These predictions serve as guidance for self-supervised contrastive feature learning: we task a deep network with producing per-pixel embeddings whose pairwise distances respect the region hierarchy. Experiments demonstrate that our approach can serve as state-of-the-art generic pre-training, benefiting downstream tasks. We additionally explore applications to semantic region search and video-based object instance tracking.

研究の動機と目的

• 大規模なラベルなしデータ上で、学習された視覚的プリミティブを活用して特徴学習をガイドする自己教師あり表現学習フレームワークの開発。
• ImageNetの事前学習に依存せずに、ランダム初期化から深層ネットワークの事前学習を可能にすること。
• ラベルなしデータのみを用いて、セマンティックセグメンテーション、セマンティック領域検索、動画インスタンス追跡などの下流タスクの性能を向上させること。
• ホロウ検出器からの階層的グループ化が、対照的学習に効果的でスケーラブルな指導信号として機能するかどうかの検証。
• 豊富なアノテーションが存在しない環境下で、単純な学習済み視覚的プリミティブが、複雑な視覚的理解をブートストラップできるかどうかの検討。

提案手法

• Berkeley Segmentation Dataset から 500 枚のアノテート済み画像を用いてホロウ検出器を訓練し、初期の画像セグメンテーションを生成する。
• これらのセグメンテーションが階層的領域ツリーに統合され、マージのレベルが領域間の距離尺度を定義する。
• ピクセルペアはその階層的距離に基づいてサンプリングされる：近いマージレベルはポジティブペアを、遠いまたは重複しない領域はネガティブペアを生成する。
• CNNのピクセル単位の埋め込みに、対照的損失が適用され、同じまたは類似した領域に属するピクセルの埋め込みが近づくように促される。
• セグメンテーションラベルを一切使用せず、ラベルなしデータと階層から導出された指導信号のみを用いて、ランダム初期化からネットワークを訓練する。
• K-meansクラスタリングによる領域検索と特徴類似度による動画インスタンス追跡の評価を通じて、学習済み埋め込みを評価する。

実験結果

リサーチクエスチョン

• RQ1 小規模で教師ありの視覚的プリミティブ（例：ホロウ検出）を用いて、大規模なラベルなしデータセットにおける自己教師あり表現学習のための効果的指導を生成できるか？
• RQ2 階層的グループ化を指導信号として用いて、ランダム初期化からCNNを訓練した場合、ImageNet事前学習に比べて競争力あるか、あるいは優れた特徴が得られるか？
• RQ3 学習済みピクセル単位の埋め込みは、微調整なしにセマンティックセグメンテーション、領域検索、動画インスタンス追跡といった下流タスクをサポートできるか？
• RQ4 PASCAL や COCO といったデータセットにおいて、MoCo や InstFeat といった最先端の自己教師ありアプローチと比較して、この手法の性能はどの程度か？
• RQ5 複数のオブジェクトを含む複雑なシーンにおいて、階層的グループ化信号は一般化性能をどの程度向上させるか？

主な発見

• 本手法は、PASCAL および COCO の画像のみを用い、ラベルなしでセマンティックセグメンテーションの微調整を実施した結果、InstFeat を上回り、MoCo と同等の最先端の性能を達成した。
• PASCAL 検証セットにおいて、本手法はセマンティック領域検索の平均IoUが 24.60 に達し、SegSort の 10.17 より顕著に優れた性能を示した。
• DAVIS-2017 の動画インスタンス追跡において、5フレームのコンテキストを用いた場合、領域類似度（J）が 47.1、境界精度（F）が 48.9 を達成し、CycleTime や mgPFF を上回った。
• PCA を用いた特徴表現の可視化により、学習済み埋め込みがセマンティックカテゴリとインスタンスアイデンティティの両方を捉えていることが確認された。
• モーメンタムエンコーダーやメモリバンクを必要としないため、MoCo や類似手法と比較して訓練パイプラインが簡素化された。
• 微調整なしのゼロショット転移が、領域検索と動画トラッキングにおいて強く効果を示し、学習済み特徴のセマンティック豊かさが裏付けられた。