[論文レビュー] Representation Uncertainty in Self-Supervised Learning as Variational Inference

Hiroki Nakamura, Masashi Okada+1 more|arXiv (Cornell University)|Mar 22, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、Simsiamをパワー球面潜在空間上の変分推論として定式化することで、ラベルなしで不確実性を伴う表現学習が可能な新規自己教師強化学習手法VI-SimSiamを提案する。確率的表現モデルにより、特徴量と不確実性（集中パラメータκ）の両方を予測可能であり、競争力のある精度を達成すると同時に、低いκが曖昧または特徴が顕著でない画像に対応していることを定性的に示している。

ABSTRACT

In this study, a novel self-supervised learning (SSL) method is proposed, which considers SSL in terms of variational inference to learn not only representation but also representation uncertainties. SSL is a method of learning representations without labels by maximizing the similarity between image representations of different augmented views of an image. Meanwhile, variational autoencoder (VAE) is an unsupervised representation learning method that trains a probabilistic generative model with variational inference. Both VAE and SSL can learn representations without labels, but their relationship has not been investigated in the past. Herein, the theoretical relationship between SSL and variational inference has been clarified. Furthermore, a novel method, namely variational inference SimSiam (VI-SimSiam), has been proposed. VI-SimSiam can predict the representation uncertainty by interpreting SimSiam with variational inference and defining the latent space distribution. The present experiments qualitatively show that VI- SimSiam could learn uncertainty by comparing input images and predicted uncertainties. Additionally, we described a relationship between estimated uncertainty and classification accuracy.

研究の動機と目的

• 自己教師強化学習（SSL）と変分推論の理論的関係を、Simsiamのような非対照的SSL手法に対しても確立すること。
• 従来のSSLフレームワークに不確実性推定が欠如しているのを補うために、自己教師的に表現とその不確実性を同時に学習する手法を開発すること。
• 不確実性推定値（κ）が下流分類精度および画像の顕著性と相関することを示し、モデルの解釈性を向上させること。
• Simsiam、SimCLR、DINOを共通の変分推論フレームワークに統一し、それらの背後にある確率的構造を明らかにすること。

提案手法

• 潜在表現をパワー球面分布としてモデル化することで、Simsiamを変分推論として解釈し、集中パラメータκを用いた不確実性推定を可能にする。
• SSL目的関数を、整合性（J_align）、一様性（J_uniform）、KLダイバージェンス（J_KL）の3つの成分を含む下界（ELBO）として定式化し、事後分布を正則化する。
• 事後分布p(z|x,θ)は単一モードの事後分布のProduct-of-Experts（PoE）としてモデル化され、近似事後分布q(z|x,φ)はMixture-of-Experts（MoE）としてモデル化され、複数の増幅処理の一貫性を実現する。
• 表現の不確実性は、パワー球面分布の集中パラメータκによって符号化され、訓練中に同時に最適化される。
• パワー球面分布の対数正規化定数の微分可能近似を用いることで、エンドツーエンドの訓練を可能にする。
• 本フレームワークは、既存のSSL手法を一般化する：Simsiamは超球面上の一様事前分布を持つ決定的出力として、SimCLRはカテゴリカル出力として、DINOはモーメンタムエンコーダを備えた決定的バージョンとして解釈される。

実験結果

リサーチクエスチョン

• RQ1 Simsiamのような自己教師強化学習手法を、変分推論の観点から解釈することは可能か？
• RQ2 ラベルなしの自己教師的設定において、表現の不確実性を明示的にモデル化・予測することは可能か？
• RQ3 推定された不確実性（κ）とモデルの下流分類性能の関係は何か？
• RQ4 潜在空間分布（例：パワー球面分布、von Mises-Fisher分布）は、異なるSSL目的関数を共通の確率的枠組みで統一できるか？

主な発見

• VI-SimSiamはラベルなしで表現の不確実性を効果的に学習できており、低い不確実性（高いκ）は、より顕著または構造が明確な画像に対応している。
• 不確実性パラメータκは画像の内容と定性的に関連している：特徴が曖昧または顕著でない画像ではκ値が低く、不確実性が高くなる傾向がある。
• ImageNet-1Kにおける線形評価精度において、標準的なSimsiamと同等の競争力を持つ性能を達成しており、不確実性学習が性能に悪影響を及げないことを示している。
• 推定不確実性（κ）と分類精度の間には正の相関が観察され、高い不確実性予測が、より自信があり正確な予測と関連していることが示唆されている。
• 理論的枠組みにより、Simsiam、SimCLR、DINOが、異なる潜在分布上の変分推論の特殊ケースとして統一され、VI-SimSiamはSimsiamに不確実性推定を拡張したものであることが明らかになった。