[論文レビュー] Heterogeneous Contrastive Learning: Encoding Spatial Information for Compact Visual Representations

Xinyue Huo, Lingxi Xie+7 more|arXiv (Cornell University)|Nov 19, 2020

Domain Adaptation and Few-Shot Learning参考文献 41被引用数 4

ひとこと要約

本論文では、二重ブランチアーキテクチャを用いて意味的特徴と空間的特徴を同時に符号化することで、自己教師あり視覚表現学習を向上させるHeterogeneous Contrastive Learning (HCL) を提案する。空間的情報を変更された特徴ピラミッドネットワーク（FPN）ブランチを介して統合することで、HCLは表現の効率性を向上させ、インスタンス識別において高い精度を達成し、オブジェクト検出やセグメンテーションなどの下流タスクでMoCo-v2を上回る性能を示す一方、事前学習コストを半減する。

ABSTRACT

Contrastive learning has achieved great success in self-supervised visual representation learning, but existing approaches mostly ignored spatial information which is often crucial for visual representation. This paper presents heterogeneous contrastive learning (HCL), an effective approach that adds spatial information to the encoding stage to alleviate the learning inconsistency between the contrastive objective and strong data augmentation operations. We demonstrate the effectiveness of HCL by showing that (i) it achieves higher accuracy in instance discrimination and (ii) it surpasses existing pre-training methods in a series of downstream tasks while shrinking the pre-training costs by half. More importantly, we show that our approach achieves higher efficiency in visual representations, and thus delivers a key message to inspire the future research of self-supervised visual representation learning.

研究の動機と目的

• コントラスト学習の目的関数と、クロッピングやフリップなどの空間的に敏感なデータ拡張処理との間に生じる不一致を解消すること。
• 意味的特徴に加えて空間的構造を符号化することで、視覚表現の効率性とコンパクト性を向上させること。
• 空間的理解を要するタスクにおいて性能を落とさずに、事前学習コストを削減すること。
• 異種の特徴符号化が、同種のものよりもより効率的で低損失の表現をもたらすことを示すこと。

提案手法

• HCLは二重ブランチエンコーダーを導入する：一方のブランチは最終の平均プーリング層から意味的特徴を抽出し、もう一方のブランチは変更された特徴ピラミッドネットワーク（FPN）を用いて空間的特徴を抽出する。
• 空間的ブランチは、14×14の特徴マップを出力するように変更されており、これはグローバルプーリングによりコンパクトなベクトルに変換され、意味的ベクトルとの次元整合性を保証する。
• 意味的特徴と空間的特徴は正規化され、連結された後、コントラスト損失関数に供給され、両者の最適化を統合的に可能にする。
• この手法は事前学習時のみに適用され、最終的なモデルはアーキテクチャの変更なしに標準的な下流タスクと互換性を持つ。
• トレーニングスケジュールは二段階に分けられる：まず意味的ブランチを事前学習し、その後両ブランチを共同で微調整することで、学習目的の間の矛盾を低減する。
• 画像の水平フリップをトレーニング中に無効化することで、元画像とフリップ画像の空間的特徴の不一致を防ぎ、下流タスクの性能向上を図る。

実験結果

リサーチクエスチョン

• RQ1 コントラスト事前学習中に空間的情報を符号化することで、視覚表現の質と効率性が向上するか？
• RQ2 空間的特徴と意味的特徴の統合は、オブジェクト検出やインスタンスセグメンテーションなどの下流タスクでの性能にどのように影響するか？
• RQ3 HCLは、クロッピングやフリップなどの空間的に敏感なデータ拡張処理によって引き起こされる学習の不整合を軽減するか？
• RQ4 性能を維持または向上させつつ、どの程度まで事前学習コストを削減できるか？
• RQ5 意味的特徴と空間的特徴の併用は、表現のコンパクト性とインスタンス識別精度の観点から、より効率的か？

主な発見

• HCLは、事前学習エポック数を半分にしたにもかかわらず、MS-COCOオブジェクト検出で0.8%高いAP、インスタンスセグメンテーションで0.7%高いAPを達成した。
• 合計400エポック（各段階200エポック）のスケジュールで、HCLはMoCo-v2の800エポックトレーニングを上回り、顕著な効率性の向上を示した。
• PCAに基づく圧縮実験では、半分が意味的、半分が空間的特徴の混合128次元特徴が、同じ次元の純粋な意味的特徴よりも高いインスタンス識別精度を達成した。
• トレーニング中に水平フリップを無効化したことで、検出タスクで0.4%、LVISインスタンスセグメンテーションで0.5%の性能向上が見られ、空間的学習と意味的学習の不整合が低減したことが示された。
• 空間的ブランチの変更されたFPN設計により、14×14特徴を直接出力することで、追加のダウンサンプリングを回避し、トレーニングコストを約10%削減した。
• 二段階トレーニングスケジュールの分析から、意味的事前学習が不可欠であることが判明した。これを省略すると、検出とセグメンテーションの両方でAPが0.5%低下した。