[論文レビュー] Unsupervised Representation Learning by InvariancePropagation

Feng Wang, Huaping Liu+2 more|arXiv (Cornell University)|Oct 7, 2020

Domain Adaptation and Few-Shot Learning参考文献 41被引用数 21

ひとこと要約

本論文は、表現空間内での再帰的k近傍近傍法伝播を用いて、意味的に一貫したカテゴリーレベルの陽性サンプルを発見する、新しい教師なし表現学習手法であるInvariance Propagation（InvP）を提案する。クラス内変動が大きいハードな陽性サンプルに注目することで、InvPは最先端の性能を達成し、ImageNet線形分類でトップ1正答率71.3%、トップ5正答率78.2%を達成した。これは、わずか1%のラベル付きデータを用いた微調整でも達成された。

ABSTRACT

Unsupervised learning methods based on contrastive learning have drawn increasing attention and achieved promising results. Most of them aim to learn representations invariant to instance-level variations, which are provided by different views of the same instance. In this paper, we propose Invariance Propagation to focus on learning representations invariant to category-level variations, which are provided by different instances from the same category. Our method recursively discovers semantically consistent samples residing in the same high-density regions in representation space. We demonstrate a hard sampling strategy to concentrate on maximizing the agreement between the anchor sample and its hard positive samples, which provide more intra-class variations to help capture more abstract invariance. As a result, with a ResNet-50 as the backbone, our method achieves 71.3% top-1 accuracy on ImageNet linear classification and 78.2% top-5 accuracy fine-tuning on only 1% labels, surpassing previous results. We also achieve state-of-the-art performance on other downstream tasks, including linear classification on Places205 and Pascal VOC, and transfer learning on small scale datasets.

研究の動機と目的

• 対照的学習手法がインスタンスレベルの不変性に注目するという限界を補うために、インスタンス間の関係を介してカテゴリーレベルの不変性を学習すること。
• 表現空間内の高密度領域から、クラス内に豊富な変動を持つ陽性サンプルを発見することで、表現の頑健性を向上させること。
• アンカーと類似度が低い陽性サンプルに重点を置くハードサンプリング戦略を開発し、学習された特徴の抽象化と不変性を強化すること。
• 人為的ラベルなしで、線形分類、転移学習、半教師あり学習などの下流タスクで最先端の性能を達成すること。

提案手法

• InvPは、埋め込み空間にk近傍近傍（k-NN）グラフを構築し、局所的不変性を再帰的に伝播させ、同じカテゴリに属する意味的に一貫した陽性サンプルを同定する。
• この手法により、陽性サンプルが高密度領域に位置することを保証し、半教師あり学習における滑らかさ仮説に従い、一般化性能を向上させる。
• 類似度が低い陽性サンプル（アンカーとの類似度が低いもの）を優先するハードサンプリング戦略を導入し、より良い不変性学習のためのクラス内変動を提供する。
• 対照的目的関数を用いて、アンカーとそのハードな陽性サンプルの間で合意を最大化するとともに、負例を分離するようにモデルを学習する。
• k-NNグラフは学習中に動的に更新され、進化する表現を反映し、意味的整合性を維持する。
• バックボーンネットワーク（例：ResNet-50）は、陽性ペairのクラスタリングを促進する対照的損失を用いて、エンドツーエンドで最適化される。

実験結果

リサーチクエスチョン

• RQ1 インスタンスレベルの不変性を超えて、インスタンス間の関係を介したカテゴリーレベルの不変性の学習が、教師なし表現学習を改善できるか？
• RQ2 表現空間内での再帰的k-NN伝播が、意味的に一貫した陽性サンプルを発見するのをどのように支援するか？
• RQ3 アンカーとの類似度が低いハードな陽性サンプル（類似度が低いもの）に注目することで、学習された表現の頑健性と抽象化能力が向上するか？
• RQ4 InvPは、ラベルなしで線形評価、転移学習、半教師あり学習のベンチマークで最先端の性能を達成できるか？

主な発見

• InvPは、わずか1%のラベル付きデータを用いた微調整でも、ImageNet線形分類でトップ1正答率71.3%、トップ5正答率78.2%を達成し、以前の手法を上回った。
• Places205およびPascal VOC2007において、InvPは線形分類で最先端の結果を達成し、異なるデータセット間での強力な一般化能力を示した。
• InvPの類似度分布は、インスタンス識別法（ピークが約0.5）と比較して、はるかに高く、より分離可能な陽性類似度（ピークが約0.9）を示しており、強力なカテゴリーレベルの不変性を示している。
• 定性的な分析により、ハードな陽性サンプルが意味的コンテンツを保持しながら、多様な低レベルの変動（例：色、視点、パターン）を導入していることが確認され、不変性が向上した。
• 一部の設定では、Supervisedベースラインを上回る性能を示しており、InvPによる教師なし学習が、データの内在的構造を効果的に捉えられることを示している。
• 近傍の可視化により、InvPが同じカテゴリに属する意味的に類似したインスタンスを高密度領域に効果的にグループ化できていることが確認された。