[論文レビュー] Triplet is All You Need with Random Mappings for Unsupervised Visual Representation Learning

Wenbin Li, Xuesong Yang+5 more|arXiv (Cornell University)|Jul 22, 2021

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 5

ひとこと要約

本論文は、1つのアーキテクチャごとのネガティブサンプルのみを用いることで、大規模バッチや複雑な非対称設計を必要とせず、自己教師あり視覚表現学習において最先端の性能を達成する単純なトリプレットベースの対照的損失を提案する。さらに、確率的射影を通じて表現学習を強化するランダムマッピング戦略であるROMAを導入し、複数のSSL手法において性能向上を実現する。

ABSTRACT

Contrastive self-supervised learning (SSL) has achieved great success in unsupervised visual representation learning by maximizing the similarity between two augmented views of the same image (positive pairs) and simultaneously contrasting other different images (negative pairs). However, this type of methods, such as SimCLR and MoCo, relies heavily on a large number of negative pairs and thus requires either large batches or memory banks. In contrast, some recent non-contrastive SSL methods, such as BYOL and SimSiam, attempt to discard negative pairs by introducing asymmetry and show remarkable performance. Unfortunately, to avoid collapsed solutions caused by not using negative pairs, these methods require sophisticated asymmetry designs. In this paper, we argue that negative pairs are still necessary but one is sufficient, i.e., triplet is all you need. A simple triplet-based loss can achieve surprisingly good performance without requiring large batches or asymmetry. Moreover, we observe that unsupervised visual representation learning can gain significantly from randomness. Based on this observation, we propose a simple plug-in RandOm MApping (ROMA) strategy by randomly mapping samples into other spaces and enforcing these randomly projected samples to satisfy the same correlation requirement. The proposed ROMA strategy not only achieves the state-of-the-art performance in conjunction with the triplet-based loss, but also can further effectively boost other SSL methods.

研究の動機と目的

• 大規模バッチやメモリバンクに依存するネガティブペアを必要とする対照的SSL手法の高い計算コストと複雑さに対処すること。
• BYOL や SimSiam などの非対照的SSL手法で生じるコラプス問題を克服し、退化解を防ぐために複雑な非対称設計を必要としないこと。
• 自己教師あり表現学習において、1アーキテクチャあたり1つのネガティブペアという最小限の数でも、依然として強力な性能を達成できるかどうかを検証すること。
• ランダム性が自己教師あり視覚表現学習の向上に果たす役割を調査すること。
• アーキテクチャの変更なしに既存のSSL手法を強化できる、即挿し可能な戦略の開発

提案手法

• 1アーキテクチャごとに1つのネガティブサンプルを用いるトリプレットベースの対照的損失を提案し、大規模なネガティブマイニングの必要性を顕著に低減する。
• ROMA（RandOm MApping）を導入し、特徴量を異なる空間に確率的射影することで追加のネガティブビューを生成する、シンプルなデータ拡張戦略。
• 標準的な対照的学習と同様に、アーキテクチャとそのランダムにマッピングされたビューの間で同じ相関制約を強制し、頑健な特徴学習を促進する。
• ROMAを既存のSSLフレームワークに即挿し可能なモジュールとして適用し、バックボーンやトレーニング手順の変更なしに性能向上を実現する。
• 計算効率とスケーラビリティを確保するため、固定次元のランダム射影行列を用いて特徴量をマッピングする。
• トリプレット構造（アーキテクチャ、ポジティブビュー、1つのランダムにマッピングされたネガティブビュー）を用いた標準的な対照的損失を採用する。

実験結果

リサーチクエスチョン

• RQ1 大規模バッチ学習や複雑な非対称性を必要とせず、1アーキテクチャあたり1つのネガティブサンプルで自己教師あり視覚表現学習において競争力のある性能を達成できるか？
• RQ2 ランダム射影による特徴空間におけるランダム性の導入が、自己教師あり表現の頑健性と一般化性能を向上させるか？
• RQ3 ROMAのようなシンプルで即挿し可能な戦略が、アーキテクチャの変更なしに既存のSSL手法を強化できるか？
• RQ4 提案手法のトリプレットベース損失は、対照的および非対照的SSL手法と比較して、精度とトレーニング効率の面でどのように差をつけるか？
• RQ5 ランダムマッピングが、さまざまな下流タスクにおける表現品質にどのような影響を与えるか？

主な発見

• 提案されたトリプレットベース損失は、ResNet-50バックボーンを用いたImageNet-1Kで最先端の性能を達成し、既存の対照的および非対照的手法を上回る。
• ROMAは、SimSiam や BYOL を含む既存のSSL手法に適用することで顕著な性能向上を示し、汎用性の高さを実証する。
• 最小限のネガティブペアで強力な結果を達成でき、大規模バッチやメモリバンクの必要性がなくなる。
• ROMAによるランダムマッピングは特徴の多様性と一般化性能を向上させ、線形評価および微調整ベンチマークにおける下流精度の向上に寄与する。
• トリプレット損失とROMAの組み合わせにより、複雑なアーキテクチャの非対称性や大規模ネガティブマイニングがなくても、競争力ある性能を達成できる。
• アブレーションスタディにより、特徴射影におけるランダム性がコラプスの防止と表現品質の向上に重要な役割を果たすことが確認された。