[論文レビュー] Spatially Consistent Representation Learning

Byungseok Roh, Wuhyun Shin+2 more|arXiv (Cornell University)|Mar 10, 2021

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 10

ひとこと要約

本稿では、幾何変換を介してクロップされた領域を一致させることで、特徴表現における局所的な空間的一致性を向上させる自己教師あり手法である空間的一致性表現学習（SCRL）を提案する。RoIAlignを用いて空間的に対応する特徴をマッチングし、BYOLスタイルのフレームワークで類似度を最適化することで、オブジェクト検出およびインスタンスセグメンテーションの分野で最先端の性能を達成し、ImageNetの事前学習および先行する自己教師あり手法を複数のベンチマークで上回った。

ABSTRACT

Self-supervised learning has been widely used to obtain transferrable representations from unlabeled images. Especially, recent contrastive learning methods have shown impressive performances on downstream image classification tasks. While these contrastive methods mainly focus on generating invariant global representations at the image-level under semantic-preserving transformations, they are prone to overlook spatial consistency of local representations and therefore have a limitation in pretraining for localization tasks such as object detection and instance segmentation. Moreover, aggressively cropped views used in existing contrastive methods can minimize representation distances between the semantically different regions of a single image. In this paper, we propose a spatially consistent representation learning algorithm (SCRL) for multi-object and location-specific tasks. In particular, we devise a novel self-supervised objective that tries to produce coherent spatial representations of a randomly cropped local region according to geometric translations and zooming operations. On various downstream localization tasks with benchmark datasets, the proposed SCRL shows significant performance improvements over the image-level supervised pretraining as well as the state-of-the-art self-supervised learning methods. Code is available at https://github.com/kakaobrain/scrl

研究の動機と目的

• 幾何変換下で局所的表現が一貫性を欠くという、既存の対照的自己教師あり学習手法の限界、特に局所化タスクにおける問題を解決すること。
• オブジェクト検出やインスタンスセグメンテーションのようなマルチオブジェクトおよび位置認識タスクにおける特徴の空間的一致性を向上させること。
• 対照的学習における過剰なクロッピングが、意味的に異なる画像領域間に誤った類似性を生じさせるという負の影響を軽減すること。
• 平行移動やズームなどの幾何変換に対して局所的特徴が不変であるように制約を課す自己教師あり目的関数を開発すること。
• 空間的一致性を持つ表現が、特にバウンディングボックス回帰において優れた下流性能をもたらすことを実証すること。

提案手法

• 同じ画像の変換済みビュー間で、空間的に対応する局所領域を幾何変換（平行移動、ズームなど）を用いて一致させる、新たな自己教師あり目的関数を提案する。
• 2つの変換済みビューの特徴マップにおける空間的に整合された領域から、等しいサイズの局所的特徴表現をRoIAlignを用いて抽出する。
• 負例ペairを必要とせず、一致した局所的特徴表現間の距離を最小化するようにBYOLフレームワークを適応応用する。
• 同じ空間的領域に対して幾何的摂動があっても一貫した特徴を出力するように促す、対照的と類似した目的関数を用いる。
• BYOLと同様に、トレーニングの安定化のため、モーメンタム更新付きのオンラインおよびターゲットバックボーンネットワークを採用する。
• ImageNetで学習し、標準的な検出およびセグメンテーションベンチマークを用いて下流の局所化タスクで評価する。

実験結果

リサーチクエスチョン

• RQ1 局所的表現における空間的一致性を強制することで、オブジェクト検出やインスタンスセグメンテーションのような局所化タスクの性能が向上するか？
• RQ2 空間的に整合されたクロップに基づく自己教師あり目的関数は、空間的構造を保存する点で、グローバルな対照的学習を上回るか？
• RQ3 限られたデータ量および長時間のトレーニングスケジュール下で、SCRLはImageNet事前学習および最先端の自己教師あり手法を上回るか？
• RQ4 空間的一致性は、分類精度と比較して、どの程度バウンディングボックス回帰の性能向上に寄与するか？
• RQ5 空間的一致性を持つ表現は、多様なデータセットおよび検出ヘッドアーキテクチャに一般化可能か？

主な発見

• COCOオブジェクト検出において、SCRLはImageNet事前学習およびすべての最先端の自己教師あり手法を上回り、わずか200エポックの上流事前学習でも高いAPを達成した。
• COCO検出において、下流トレーニングスケジュールを0.5×から7×に変更した場合、SCRLはすべての設定でランダム初期化、教師あり事前学習、BYOLを常に上回った。
• COCOの正例ボックスを用いたRoI線形評価では、SCRLは74.8%の精度を達成し、BYOL（71.5%）および教師ありImageNet事前学習（72.7%）を顕著に上回った。
• 定性的な分析から、SCRLはBYOLに比べてよりタイトで正確なバウンディングボックスを生成することが示された。特に、BYOLが平行移動不変特徴のため、完全なオブジェクトを検出できないケースで顕著であった。
• SCRLは、COCO学習データの1/10しか使用しないデータスカースな環境下でも、性能の向上を維持した。これは、空間的一致性を持つ特徴のロバスト性と転送可能性を示している。
• グローバル評価と空間的制約付き線形評価の間にはトレードオフが見られた。これは、空間的一致性が局所化タスクにとって極めて重要であることを示している。