[論文レビュー] Unsupervised Pretraining for Object Detection by Patch Reidentification.

Jian Ding, Enze Xie+5 more|arXiv (Cornell University)|Mar 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 7被引用数 18

ひとこと要約

本論文は、画像の異なる増幅ビュー間のパッチを照合することで、オブジェクト検出のための場所特徴を判別する表現を学ぶ、対照的自己教師付きプロムプトタスク「パッチ再識別（Re-ID）」を提案する。COCOで最先端の性能を達成し、さまざまな学習設定下でMoCo v2や完全教師ありベースラインを最大2.1 mAP上回る。

ABSTRACT

Unsupervised representation learning achieves promising performances in pre-training representations for object detectors. However, previous approaches are mainly designed for image-level classification, leading to suboptimal detection performance. To bridge the performance gap, this work proposes a simple yet effective representation learning method for object detection, named patch re-identification (Re-ID), which can be treated as a contrastive pretext task to learn location-discriminative representation unsupervisedly, possessing appealing advantages compared to its counterparts. Firstly, unlike fully-supervised person Re-ID that matches a human identity in different camera views, patch Re-ID treats an important patch as a pseudo identity and contrastively learns its correspondence in two different image views, where the pseudo identity has different translations and transformations, enabling to learn discriminative features for object detection. Secondly, patch Re-ID is performed in Deeply Unsupervised manner to learn multi-level representations, appealing to object detection. Thirdly, extensive experiments show that our method significantly outperforms its counterparts on COCO in all settings, such as different training iterations and data percentages. For example, Mask R-CNN initialized with our representation surpasses MoCo v2 and even its fully-supervised counterparts in all setups of training iterations (e.g. 2.1 and 1.1 mAP improvement compared to MoCo v2 in 12k and 90k iterations respectively). Code will be released at this https URL.

研究の動機と目的

• 画像分類とオブジェクト検出における自己教師付き事前学習の性能格差を解消するため、検出に特化したプロムプトタスクを設計すること。
• 画像レベルの対照的学習の限界を克服するため、パッチレベルの表現学習によって局所的でオブジェクト関連の特徴に焦点を当てる。
• ボクセルボックスのアノテーションを一切使用せず、オブジェクト検出に適したマルチレベルで場所を判別する特徴を学ぶ自己教師付き手法を開発すること。
• 同じ画像の異なる増幅ビュー間のパッチ対応関係をモデル化することで、オブジェクト検出器の汎化性能と特徴の判別性を向上させること。
• COCOで、既存の自己教師付きおよび一部の完全教師あり事前学習手法と比較して優れた検出性能を達成すること。

提案手法

• 重要な画像パッチを擬似IDとして扱い、同じ画像の2つの増幅ビュー間でその対応関係を学習する。
• パッチRe-IDを対照的学習タスクとして定式化し、ポジティブペアは同一パッチの異なる変換、ネガティブペアは異なるパッチからなる。
• 深く自己教師付きの方法でRe-IDタスクを実行し、CNNバックボーンの複数の特徴レベルに適用して階層的表現を学習する。
• インスタンスレベルの対照的損失を用いて、モデルを埋め込み空間でポジティブペアを近づけ、ネガティブペアを遠ざけるように最適化する。
• 検出タスク固有のラベルでの微調整なしに、標準的なオブジェクト検出器（例：Mask R-CNN）に事前学習済み特徴を統合する。
• ボクセルボックスのアノテーションを一切使用せず、画像レベルの増幅のみを用いて、エンドツーエンドの自己教師付き学習で表現学習器を訓練する。

実験結果

リサーチクエスチョン

• RQ1 パッチレベルの対応関係に基づく自己教師付きプロムプトタスクは、画像レベルの対照的学習と比較して、オブジェクト検出性能を向上させることができるか？
• RQ2 さまざまな学習スケジュール下で、パッチRe-IDはMoCo v2などの既存の自己教師付き事前学習手法と比較して、検出mAPでどの程度優れているか？
• RQ3 完全に自己教師付きの事前学習手法が、特定の設定下で完全教師ありの事前学習ベースラインを上回る可能性はどの程度か？
• RQ4 パッチRe-IDによるマルチレベル特徴学習は、オブジェクト検出器の局所化および分類性能を向上させるか？
• RQ5 本手法は、異なるデータ比と学習イテレーションの下でも一般化可能であり、一貫した性能向上を示すか？

主な発見

• 提案されたパッチ再識別手法は、すべての学習設定下でCOCOオブジェクト検出ベンチマークで最先端の性能を達成した。
• 12,000イテレーション学習した場合、提案された表現で初期化されたMask R-CNNはMoCo v2を2.1 mAP上回った。
• 90,000イテレーション学習した場合、MoCo v2と比較して1.1 mAPの性能向上を示し、学習スケジュールにかかわらず一貫した向上を確認した。
• 低データ環境下でも強固な性能を維持しており、データ不足に対する耐性があることが示された。
• 一部の設定では、完全教師あり事前学習ベースラインを上回ったことから、自己教師付きプロムプトタスクの有効性が裏付けられた。
• 事前学習段階でボクセルボックスアノテーションを一切使用せず、場所を判別する表現学習の価値を実証した。