[論文レビュー] Self-Supervised Representation Learning With MUlti-Segmental Informational Coding (MUSIC)

Chuang Niu, Ge Wang|arXiv (Cornell University)|Jun 13, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

MUSICは、埋め込み特徴量を複数のセグメントに分割し、情報理論的最適化を用いてそれぞれが異なる意味的属性（例：テクスチャ、形状）を符号化する自己教師あり表現学習手法を提案する。対照的メモリバンク、大規模バッチ、深層プロジェクションヘッドを一切不要とし、計算コストを低く抑えながら、ImageNetで最先端の線形プローブ精度を達成し、Barlow Twins や VICReg を上回る性能を発揮する。

ABSTRACT

Self-supervised representation learning maps high-dimensional data into a meaningful embedding space, where samples of similar semantic contents are close to each other. Most of the recent representation learning methods maximize cosine similarity or minimize the distance between the embedding features of different views from the same sample usually on the $l2$ normalized unit hypersphere. To prevent the trivial solutions that all samples have the same embedding feature, various techniques have been developed, such as contrastive learning, stop gradient, variance and covariance regularization, etc. In this study, we propose MUlti-Segmental Informational Coding (MUSIC) for self-supervised representation learning. MUSIC divides the embedding feature into multiple segments that discriminatively partition samples into different semantic clusters and different segments focus on different partition principles. Information theory measurements are directly used to optimize MUSIC and theoretically guarantee trivial solutions are avoided. MUSIC does not depend on commonly used techniques, such as memory bank or large batches, asymmetry networks, gradient stopping, momentum weight updating, etc, making the training framework flexible. Our experiments demonstrate that MUSIC achieves better results than most related Barlow Twins and VICReg methods on ImageNet classification with linear probing, and requires neither deep projectors nor large feature dimensions. Code will be made available.

研究の動機と目的

• 自己教師あり表現学習における自明な解の問題（すべてのサンプルが同一の埋め込みに収束する現象）を解消すること。
• メモリバンク、モーメンタムネットワーク、勾配停止といった複雑な部品に依存しない手法を開発すること。
• 情報理論に基づくセグメント別属性符号化により、判別性が高く多様で自明でない表現を実現すること。
• 高次元特徴量や深層プロジェクションヘッドの必要性を排除することで、計算コストを低減すること。

提案手法

• MUSICは埋め込みベクトルをS個のセグメントに分割し、それぞれが異なる意味的属性（例：テクスチャ、形状、オブジェクト部品）を表す。
• 各セグメントは特徴空間をD_S個の離散的ユニットに分割し、それぞれが属性の特定のインスタンス（例：点状テクスチャ、ストライプ状テクスチャ）を表す。
• 各サンプルがセグメントsのd番目のユニットに属する確率p(s,d)の分布を最適化するために、エントロピーに基づく損失関数を用いる。
• 理論的分析により、最適解が自明な解を回避することを保証しており、各サンプルに対して1ホット活性化が強制され、異なるセグメント間で共分散がゼロになる。
• 結合エントロピーの最大化により、異なるセグメントからの特徴が非相関的になることが保証され、セグメント内ユニットは負の相関を示すため、多様性と判別性が向上する。
• データオーグメンテーションに対して不変であり、非対称性、勾配停止、モーメンタム更新の必要がない。

実験結果

リサーチクエスチョン

• RQ1 対照的メモリ、大規模バッチ、勾配停止に依存せずに、自明な解を回避できる自己教師あり表現学習手法は存在するか？
• RQ2 情報理論的最適化に基づくセグメント別属性符号化は、従来の対照的または相関に基づく手法よりも、より判別性が高く多様な特徴を生成できるか？
• RQ3 MUSICは、モデルの複雑さを低く抑えながら、Barlow Twins や VICReg といった最先端手法を上回る下流タスク性能を達成できるか？
• RQ4 深層プロジェクションヘッドや高次元埋め込みを必要とせずに、MUSICは高い性能を維持できるか？

主な発見

• MUSICはResNet-50バックボーンを用いてImageNet-1Kで80.3%のSOTA線形プローブトップ-1精度を達成し、Barlow Twins や VICReg を上回る性能を示した。
• 本手法は、メモリバンク、大規模バッチ、深層プロジェクションヘッドを一切使用せず、メモリと計算コストを顕著に削減した。
• 理論的分析により、MUSICが各サンプルに対して1ホット活性化を強制し、異なるセグメント間で共分散をゼロに保つことで、自明な解を回避することが確認された。
• 実験的結果から、異なるセグメントからの特徴は非相関的であり、同じセグメント内のユニットは負の相関を示すことが明らかになった。これにより、多様性と判別性が保証された。
• MUSICはネットワークアーキテクチャの非対称性や勾配停止を必要とせず、トレーニングの簡素化と安定性の向上が達成された。