[論文レビュー] Semantic-Aware Generation for Self-Supervised Visual Representation Learning

Yunjie Tian, Lingxi Xie+7 more|arXiv (Cornell University)|Nov 25, 2021

Domain Adaptation and Few-Shot Learning参考文献 55被引用数 7

ひとこと要約

本論文では、自己教師あり視覚表現学習において、事前学習済みの意味的認識能力を持つ評価者を用いて再構成をガイドすることで、ピクセルレベルの指標に代わる意味的整合性を向上させる、自己教師あり視覚表現学習手法であるSemantic-Aware Generation (SaGe) を提案する。SaGe は ImageNet-1K および線形分類やオブジェクト検出といった下流タスクで最先端の性能を達成し、従来のピクセルベースの生成プロキシに比べ、意味的認識能力を備えた生成が優れていることを示している。

ABSTRACT

In this paper, we propose a self-supervised visual representation learning approach which involves both generative and discriminative proxies, where we focus on the former part by requiring the target network to recover the original image based on the mid-level features. Different from prior work that mostly focuses on pixel-level similarity between the original and generated images, we advocate for Semantic-aware Generation (SaGe) to facilitate richer semantics rather than details to be preserved in the generated image. The core idea of implementing SaGe is to use an evaluator, a deep network that is pre-trained without labels, for extracting semantic-aware features. SaGe complements the target network with view-specific features and thus alleviates the semantic degradation brought by intensive data augmentations. We execute SaGe on ImageNet-1K and evaluate the pre-trained models on five downstream tasks including nearest neighbor test, linear classification, and fine-scaled image recognition, demonstrating its ability to learn stronger visual representations.

研究の動機と目的

• 従来の自己教師あり手法が識別性能を重視する一方で生成品質に欠けるという限界を是正すること。
• ピクセルレベルの類似性に依存するのではなく、意味的認識能力を統合した生成ブランチを強化することで、視覚表現学習を向上させること。
• 意味的認識能力を持つ評価者が生成画像の品質および下流タスクの転移性能を顕著に向上させることを検証すること。
• 生成ベースのプロキシが自己教師ありフレームワークにおいて、対照的学習や予測学習を効果的に置き換えられるかを検討すること。
• 強力なデータオーグメンテーションによる意味的劣化を、ビュー固有の意味的認識に基づく再構成によって軽減すること。

提案手法

• フレームワークはエンコーダー（ターゲットネットワーク）、デコーダー（生成ヘッド）、および事前学習済みの評価者ネットワーク（意味的スコア計算用）から構成される。
• 評価者ネットワークは、元の画像と再構成画像の意味的特徴を比較することで、生成スコアを計算する。
• 損失関数はピクセルレベルのMSE損失と、評価者の特徴を用いて計算される意味的類似度損失を組み合わせる。
• エンコーダーは、評価者によって測定される意味的コンテンツを保持しつつ、元の画像を再構成できる特徴を生成するように訓練される。
• データオーグメンテーションを用いてビューのペairを生成し、対照的（識別的）および生成的（生成的）な目的を同時に最適化することで、エンドツーエンドで学習を行う。
• 意味的保持の評価には、事前学習済み ImageNet 分類器を用いた知覚テストを実施し、生成画像が正しく分類されるかを評価する。

実験結果

リサーチクエスチョン

• RQ1 ピクセルレベルの指標に比べ、意味的認識能力を持つ評価者を用いることで、自己教師あり表現学習における生成画像の品質が向上するか？
• RQ2 意味的ガイド付き生成ブランチを統合することで、純粋に識別的な手法に比べ、より強力な転移可能な視覚表現が得られるか？
• RQ3 SaGe は ImageNet-1K における下流タスクで、最先端の対照的・予測的自己教師あり学習手法と比較してどのように差をつけるか？
• RQ4 意味的認識能力を持つ生成が、攻撃的なデータオーグメンテーションによって引き起こされる意味的劣化をどの程度軽減できるか？
• RQ5 生成的目的のみで十分に自己教師あり事前学習が可能になるか、対照的学習を置き換えることができるか？

主な発見

• SaGe は ImageNet-1K における線形評価で最先端の性能を達成し、MoCo-v2 や SimCLR などの手法を上回っている。
• 最近傍テストでは、Top-1 正答率が 86.7% を達成し、優れた特徴転移性を示している。
• MS-COCO におけるオブジェクト検出およびインスタンスセグメンテーションでは、マスクAPが 43.2 AP に達し、先行する自己教師あり手法を上回っている。
• 知覚テストでは、意味的認識評価を備えたモデルが 87.5% の Top-5 正答率を達成する一方で、評価なしのモデルは失敗しており、意味的保持の向上が明確に示されている。
• アブレーションスタディにより、意味的認識評価者が極めて重要であることが確認された。MSE 損失があるにもかかわらず、評価者を欠如させたモデルは著しく性能が低い。
• 事前学習済み評価者を用いることで性能が顕著に向上し、特に深さのある ResNet-50 評価者を用いた場合に最も高い結果が得られた。