[論文レビュー] Self-Supervised Learning with an Information Maximization Criterion

Serdar Ozsoy, Shadi Hamdan+3 more|arXiv (Cornell University)|Sep 16, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、2次モーメント統計に基づく対数行列式相互情報量測定法を用いて相関情報の最大化を図る自己教師強化学習手法CorInfoMaxを提案する。特徴の共分散行列の対数行列式を正則化項として対照的損失に組み込むことで、完全な崩壊および次元の崩壊の両方を防ぎ、CIFAR-100分類などの下流タスクで最先端または競争力のある性能を達成する。

ABSTRACT

Self-supervised learning allows AI systems to learn effective representations from large amounts of data using tasks that do not require costly labeling. Mode collapse, i.e., the model producing identical representations for all inputs, is a central problem to many self-supervised learning approaches, making self-supervised tasks, such as matching distorted variants of the inputs, ineffective. In this article, we argue that a straightforward application of information maximization among alternative latent representations of the same input naturally solves the collapse problem and achieves competitive empirical results. We propose a self-supervised learning method, CorInfoMax, that uses a second-order statistics-based mutual information measure that reflects the level of correlation among its arguments. Maximizing this correlative information measure between alternative representations of the same input serves two purposes: (1) it avoids the collapse problem by generating feature vectors with non-degenerate covariances; (2) it establishes relevance among alternative representations by increasing the linear dependence among them. An approximation of the proposed information maximization objective simplifies to a Euclidean distance-based objective function regularized by the log-determinant of the feature covariance matrix. The regularization term acts as a natural barrier against feature space degeneracy. Consequently, beyond avoiding complete output collapse to a single point, the proposed approach also prevents dimensional collapse by encouraging the spread of information across the whole feature space. Numerical experiments demonstrate that CorInfoMax achieves better or competitive performance results relative to the state-of-the-art SSL approaches.

研究の動機と目的

• 自己教師強化学習における特徴空間の崩壊という持続的な問題に取り組むこと、すなわちモデルが同一または退化した表現を生成することを防ぐこと。
• 複雑な密度推定を必要とせず、線形依存性を捉えることのできるシャノン相互情報量の計算効率の良い代替手法を開発すること。
• 自然な正則化項により特徴の共分散行列のランクを完全に保つことで、表現が多様かつ情報豊かであるように保証すること。
• 大規模バッチ学習や複雑なニューラルネットワークアーキテクチャを必要とせず、下流タスクで競争力のある性能を達成すること。

提案手法

• 本手法は、2次モーメント統計に基づく相互情報量測定法、すなわち対数行列式相互情報量（LDMI）を用い、表現間の線形依存性を反映する。
• LDMI目的関数を1次近似することで、特徴共分散行列の対数行列式による正則化が施された対照的損失が得られる。
• 正則化項は、すべての特徴が一点に収束する完全な崩壊および特徴が部分空間に閉じ込められる次元の崩壊の両方に対する自然な障壁として機能する。
• 損失関数は、正則化されたユークリッド距離に基づく対照的損失として導出され、増強された視覚間の差異をペナルティ化するとともに、特徴の多様性を促進する追加ペナルティが含まれる。
• 勾配は逆共分散行列と平均中心化された特徴を含む閉形式表現を用いて計算され、バックプロパゲーションを用いてエンドツーエンドで訓練される。
• 本手法は標準的なニューラルネットワークアーキテクチャと互換性があり、追加の対照的メモリバンクや複雑な負例サンプリング戦略を必要としない。

実験結果

リサーチクエスチョン

• RQ1 2次モーメント統計に基づく相互情報量測定法は、自己教師強化学習における表現の崩壊を効果的に防ぐことができるか？
• RQ2 対数行列式正則化による相関情報の最大化は、下流の転移学習性能を向上させるか？
• RQ3 シャノン相互情報量のより単純で効率的な代替手法を用いることで、大規模バッチ学習を必要とせず、競争力のあるSSL結果を達成できるか？
• RQ4 提案された正則化項は特徴空間の分布と一般化能力にどのように影響を与えるか？
• RQ5 本手法は、標準ベンチマークにおいて最先端の自己教師強化学習ベースラインをどの程度上回るか？

主な発見

• CorInfoMaxはCIFAR-100分類タスクで最先端または競争力のある性能を達成し、テスト精度が既存手法と同等または上回る。
• 訓練中のLDMI測定値とテスト精度がエポックに伴いほぼ単調に増加する傾向を示しており、安定的かつ一貫性のある最適化が行われていることが示唆される。
• 対数行列式正則化項が完全な崩壊および次元の崩壊の両方を効果的に防いでおり、特徴ベクトルが潜在空間全体に広がっていることから裏付けられている。
• 勾配ダイナミクスの観察から、正則化項が特徴を中心から拡張させるのを促進している一方で、対照的項は正例ペアを引き寄せる作用がある。
• 大規模バッチサイズを必要としないため、メモリ使用量と一般化性能のトレードオフを軽減できる。
• 本手法は頑健で汎用性が高く、複数の下流タスクおよびデータセットで一貫した性能を示している。