[論文レビュー] Unsupervised Feature Learning by Cross-Level Instance-Group Discrimination

Xudong Wang, Ziwei Liu+1 more|arXiv (Cornell University)|Aug 9, 2020

Advanced Image and Video Retrieval Techniques参考文献 74被引用数 13

ひとこと要約

本論文は、インスタンスレベルとグループレベルの区別を併用して最適化することで特徴表現を向上させる対照的自己教師強化学習手法であるクロスレベルインスタンスグループ区別（CLD）を提案する。特徴を意味的グループにクラスタリングし、インスタンスとそのグループプロトタイプ間の対照的損失を適用することで、CLDは下流分類精度を向上させ、ImageNet-100 で 81.7% のトップ-1精度（MoCo+CLD）を達成し、最先端性能を記録した。

ABSTRACT

Unsupervised feature learning has made great strides with contrastive learning based on instance discrimination and invariant mapping, as benchmarked on curated class-balanced datasets. However, natural data could be highly correlated and long-tail distributed. Natural between-instance similarity conflicts with the presumed instance distinction, causing unstable training and poor performance. Our idea is to discover and integrate between-instance similarity into contrastive learning, not directly by instance grouping, but by cross-level discrimination (CLD) between instances and local instance groups. While invariant mapping of each instance is imposed by attraction within its augmented views, between-instance similarity could emerge from common repulsion against instance groups. Our batch-wise and cross-view comparisons also greatly improve the positive/negative sample ratio of contrastive learning and achieve better invariant mapping. To effect both grouping and discrimination objectives, we impose them on features separately derived from a shared representation. In addition, we propose normalized projection heads and unsupervised hyper-parameter tuning for the first time. Our extensive experimentation demonstrates that CLD is a lean and powerful add-on to existing methods such as NPID, MoCo, InfoMin, and BYOL on highly correlated, long-tail, or balanced datasets. It not only achieves new state-of-the-art on self-supervision, semi-supervision, and transfer learning benchmarks, but also beats MoCo v2 and SimCLR on every reported performance attained with a much larger compute. CLD effectively brings unsupervised learning closer to natural data and real-world applications. Our code is publicly available at: https://github.com/frank-xwang/CLD-UnsupervisedLearning.

研究の動機と目的

• インスタンスレベルの対照的学習が意味的構造を捉えきれないという限界を解消するため、グループレベルの区別を導入する。
• 粗い粒度のグループプロトタイプを活用してインスタンスレベルの対照的学習をガイドすることで、特徴表現の質を向上させる。
• 温度Tなどのハイパーパrameterやインスタンス損失とグループ損失のバランスに対する感受性を低減するため、制御された重み付けを実装する。
• 線形プローブ、オブジェクト検出、半教師あり学習などの下流タスクにおける一般化性能の向上を実証する。
• 視覚的相関が高いさまざまなデータセット（ImageNet、CIFAR、STL-10、Kitchen-HC）においてCLDの有効性を検証し、複数のビュー間で高い相関性を示す。

提案手法

• コサイン類似度を用いてクラスタ中心を計算する球面k-meansクラスタリングを適用し、特徴埋め込みをk個の意味的クラスタにグループ化する。
• インスタンスレベルとグループレベルの区別を統合した共同対照的損失を導入：ポジティブペア間の類似度を最小化し、ネガティブインスタンスとグループプロトタイプ間の分離度を最大化する。
• インスタンスレベルとグループレベルの対照的目的の寄与度を調整するため、学習可能な重みハイパーパramータλを用いる。
• 温度スケーリングTを対照的損失に適用し、インスタンスとグループの両項でT_I = T_G を使用し、コサイン学習率スケジューリングにより最適化する。
• MoCo、NPID、BYOL などの既存の対照的フレームワークと互換性のあるプラグインモジュールとしてCLDを実装し、標準的なデータオーキュレーションとエンドツーエンド学習を可能にする。
• MoCoスタイルの学習においてネガティブキーのメモリバンクを活用し、局所的およびグローバル相互情報量のバランスをとるためにメモリバンクサイズのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 インスタンスレベルの対照的学習を超えて、インスタンスとグループの併用による区別が自己教師強化学習の表現学習を改善できるか？
• RQ2 クラスタリング手法の選択（k-means 対比スペクトルクラスタリング）がグループプロトタイプの品質と下流性能に与える影響は？
• RQ3 λによって制御されるインスタンスレベルとグループレベルの対照的信号の最適なバランスは？
• RQ4 CLDは温度Tに対してどれほど感受性が高く、標準的な対照的学習と比較してグループレベルの正則化が感受性を低減するか？
• RQ5 CLDは意味的に類似したが視覚的に異なるサンプル（例：チョコレートソース）のゼロショット一般化およびリtrieval性能を向上させるか？

主な発見

• MoCo+CLDを用いたImageNet-100では81.7%のトップ-1精度を達成し、MoCoより4.1ポイント高い性能を示し、新たな最先端性能を樹立した。
• λ = 0.25 の場合にCLDは最適な性能を発揮したが、λを1.0以上にすると、グループレベル信号への過剰なペナルティが発生し、精度が最大3.1%低下した。
• 温度T = 0.2 がCIFAR-100およびImageNet-100の両方で最良の性能を示し、CLDはベースライン手法と比較してTに対する感受性が低いことが判明した。
• CLDはリtrieval品質を顕著に向上させた：NPID+CLDは、NPIDがテクスチャバイアスのため失敗する例（例：チョコレートソース）を正しくリtrieveできた。
• 視覚的相関が高いKitchen-HCデータセットでもCLDは強力な性能を維持しており、相関の高いポジティブサンプルに対してロバストであることが示された。
• 半教師あり学習では、線形ヘッドを用いたCLDが1%および10%のImageNet-1kラベル付きスプリットで最先端の性能を達成し、最適ハイパーパramータはベース学習率0.01、ヘッド乗数100であった。