[論文レビュー] Self-Supervised Learning with Kernel Dependence Maximization

Yazhe Li, Roman Pogodin+2 more|arXiv (Cornell University)|Jun 15, 2021

Domain Adaptation and Few-Shot Learning参考文献 69被引用数 21

ひとこと要約

本論文は、自己教師あり学習手法であるSSL-HSICを提案する。この手法は、ヒルバート＝シュミット独立性基準（HSIC）を用いて、画像の増強された視覚的ビューとその正例同定性の間の統計的依存度を最大化するとともに、表現の分散を最小化する。ImageNetにおける線形評価でトップ1精度74.8%という最先端の性能を達成し、InfoNCE や BYOL と同等またはそれ以上の性能を発揮する。また、相互情報量推定器やネガティブマイニングに依存せずに、依存度最大化の観点から対照的学習を統一的に解釈する。

ABSTRACT

We approach self-supervised learning of image representations from a statistical dependence perspective, proposing Self-Supervised Learning with the Hilbert-Schmidt Independence Criterion (SSL-HSIC). SSL-HSIC maximizes dependence between representations of transformations of an image and the image identity, while minimizing the kernelized variance of those representations. This framework yields a new understanding of InfoNCE, a variational lower bound on the mutual information (MI) between different transformations. While the MI itself is known to have pathologies which can result in learning meaningless representations, its bound is much better behaved: we show that it implicitly approximates SSL-HSIC (with a slightly different regularizer). Our approach also gives us insight into BYOL, a negative-free SSL method, since SSL-HSIC similarly learns local neighborhoods of samples. SSL-HSIC allows us to directly optimize statistical dependence in time linear in the batch size, without restrictive data assumptions or indirect mutual information estimators. Trained with or without a target network, SSL-HSIC matches the current state-of-the-art for standard linear evaluation on ImageNet, semi-supervised learning and transfer to other classification and vision tasks such as semantic segmentation, depth estimation and object recognition. Code is available at https://github.com/deepmind/ssl_hsic .

研究の動機と目的

• 相互情報量ではなく統計的依存度に基づく、原理的かつ整合性のある自己教師あり学習フレームワークの構築。
• 対照的学習、InfoNCE、BYOLを、共通の依存度最大化の視点から統一的に解釈すること。
• ネガティブペアやターゲットネットワークに依存せず、明示的な分散正則化によって崩壊を回避すること。
• ランダムフーリエ特徴を用いて、バッチサイズに対して線形時間で依存度を計算可能にする。
• 線形評価、転移学習、下流のビジョンタスクにおいて、最先端の性能を達成すること。

提案手法

• 増強されたビューの表現と画像の正例同定性の間のHSICを最大化するとともに、表現のカーネル化された分散を最小化する損失であるSSL-HSICを提案。
• 視覚的ビューと正例同定性の間の統計的依存度を非パラメトリックな指標としてヒルバート＝シュミット独立性基準（HSIC）を用いる。
• バッチサイズに対して線形時間の計算複雑度を達成するために、ランダムフーリエ特徴（RFF）を用いてHSICカーネルを近似。
• 自明な解を防ぐための分散に基づく正則化項を導入し、ターゲットネットワークの使用を不要にする。
• InfoNCEとSSL-HSICの関係を導出し、InfoNCEが異なる正則化項を用いてSSL-HSICを暗黙的に近似していることを示す。
• ターゲットネットワークを用いるか否かにかかわらず本手法を適用し、使用することで性能が向上することを実証。

実験結果

リサーチクエスチョン

• RQ1 HSICによる統計的依存度最大化は、自己教師あり学習における相互情報量最大化の原理的代替手段として機能できるか？
• RQ2 SSL-HSICは、InfoNCE や BYOL といった既存の対照的学習手法とどのように関係しているか？
• RQ3 依存度に基づく目的関数は、ネガティブペアやターゲットネットワークの必要性を排除できるか？
• RQ4 HSICに基づく最適化は、相互情報量に基づく境界と比較して、より優れた下流タスク性能をもたらすか？
• RQ5 ランダムフーリエ特徴を用いることで、HSICの計算を線形時間で効率的に行えるか？

主な発見

• 線形評価において、ImageNetでトップ1精度74.8%、トップ5精度92.2%を達成し、最先端の性能を再現。
• 標準的な線形評価ベンチマークにおいて、InfoNCE、BYOL、SimCLR、MoCo v2、SwAV、Barlow Twinsを上回るか同等の性能を発揮。
• セミスーパvised学習および転移学習のタスク（セマンティックセグメンテーション、深度推定、オブジェクト認識など）において、性能が同等または上回る。
• InfoNCEが異なる正則化項を用いてSSL-HSICを暗黙的に近似していることが示され、相互情報量推定の病理的特性にもかかわらずその成功が説明できる。
• 明示的な分散正則化のおかげで、ターゲットネットワークがなくても安定しており、使用すると性能が向上する。
• ランダムフーリエ特徴の使用により、HSICの計算が効率的かつ線形時間で可能となり、バッチサイズに応じて良好にスケーリングされる。