[論文レビュー] Simplicial Embeddings in Self-Supervised Learning and Downstream Classification

Samuel Lavoie, Christos Tsirigotis+5 more|arXiv (Cornell University)|Apr 1, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、自己教師あり表現出力をソフトマックス正規化を用いてLスパースなベクトルに投影する手法であるSimplicial Embeddings (SEM) を提案する。これによりグループスパarsityが誘導され、一般化性能が向上する。SEMはCIFAR-100およびImageNetにおいて下流の線形プローブ精度を2–4%向上させ、モデルスケーリングに対するロバスト性を高め、離散的トークナイゼーションや勾配推定器を一切用いずに意味的に整合性があり解釈可能な特徴を生成する。

ABSTRACT

Simplicial Embeddings (SEM) are representations learned through self-supervised learning (SSL), wherein a representation is projected into $L$ simplices of $V$ dimensions each using a softmax operation. This procedure conditions the representation onto a constrained space during pretraining and imparts an inductive bias for group sparsity. For downstream classification, we formally prove that the SEM representation leads to better generalization than an unnormalized representation. Furthermore, we empirically demonstrate that SSL methods trained with SEMs have improved generalization on natural image datasets such as CIFAR-100 and ImageNet. Finally, when used in a downstream classification task, we show that SEM features exhibit emergent semantic coherence where small groups of learned features are distinctly predictive of semantically-relevant classes.

研究の動機と目的

• スパarsityの構造的インダクティブバイアスを導入することで、自己教師あり表現学習における一般化性能と解釈可能性を向上させること。
• 離散的トークナイゼーションや勾配推定器を一切用いずに、オーバーコンプリートでスパースな表現を、エンコーダ出力におけるソフトマックス正規化によって実現すること。
• さまざまなSSL手法およびベンチマーク（ImageNetや半教師あり学習含む）において、SEMの実証的妥当性を検証すること。
• SEMが下流の一般化性能および特徴の一貫性を向上させることを理論的かつ実証的に示すこと。
• SEMのインダクティブバイアスが、事前学習後に適用されても有効であることを示すこと。ただし、SEMを用いた事前学習が、より優れた結果をもたらす。

提案手法

• 自己教師ありエンコーダの出力を、学習可能パラメータである温度パラメータを用いたソフトマックス操作によりL単体に投影する。
• ソフトマックス温度をスパarsityの制御に用いる：温度を低くするとスパarsityが増加し、インダクティブバイアスが強化される。
• 事前学習中にSEMを適用して表現を制限されたスパース空間に条件づけ、一般化性能を向上させる。
• 下流タスクでは、各単体のargmaxを用いて離散化するか、または正規化された表現を連続的制御に保持する。
• ソフトマックス温度によって制御されるトレードオフの下で、下流分類における期待誤差がトレーニング誤差と表現表現力の間で定式化されることを形式的に証明する。
• SEMを7つのSSL手法（例：BYOL, SimCLR, DINO）に適用し、CIFAR-100、ImageNet、OODベンチマークで評価する。

実験結果

リサーチクエスチョン

• RQ1 ソフトマックスを用いて自己教師あり表現を単体に投影することで、下流分類における一般化性能が向上するか？
• RQ2 SEMは、特にCIFAR-100のような低データレジームにおいて、モデルスケーリングに対してロバスト性を高めるか？
• RQ3 SEMは、離散的トークナイゼーションやGumbel-Softmaxを一切用いずに、意味的に整合性があり解釈可能な特徴を生成できるか？
• RQ4 ソフトマックス温度の選択が、下流性能および表現表現力にどのように影響するか？
• RQ5 SEMを用いた事前学習が最適性能を発揮するために必要か、それとも後処理での正規化で十分か？

主な発見

• SEMはCIFAR-100およびImageNetにおいて、7つのSSL手法すべてで線形プローブ精度を2–4%向上させ、Lが増加するにつれて一貫した向上を示す。
• CIFAR-100において、SEMはResNet-50をより広いアーキテクチャにスケーリングしても性能の低下を防ぎ、ベースラインのBYOLとは異なり過学習を回避する。
• ResNet-50において、SEMを用いた事前学習は後処理でのSEM正規化（72.3%）よりも顕著に優れた下流精度（77.3%）を達成する。これは、事前学習段階でのインダクティブバイアスの重要性を示している。
• 次元の崩壊が緩和され、表現共分散行列の特異値スペクトルにおいて、L ≥ 500の場合は明確に2048番目の特異値が低下している。
• 意味的整合性グラフから、SEM特徴の小さなグループが意味的に関連するクラスを明確に予測しており、分離可能で解釈可能な表現であることが示された。
• SEMは、分布外一般化、半教師あり学習、トランスファー学習ベンチマークにおいても性能を向上させ、広範な適用可能性を示している。