[论文解读] InfoNCE is a variational autoencoder.

Laurence Aitchison|arXiv (Cornell University)|Jul 6, 2021

Domain Adaptation and Few-Shot Learning参考文献 30被引用 8

一句话总结

本文证明了广泛使用的自监督学习方法InfoNCE在数学上等价于一种新型框架——自监督变分自编码器（SSVAE）的特例，该框架用隐式解码器替代了传统的数据重建。SSVAE通过表明其目标函数在特定先验下等价于互信息估计，为InfoNCE提供了理论基础，从而合理化了在表示学习中使用简化的参数化互信息估计器的做法。

ABSTRACT

We show that a popular self-supervised learning method, InfoNCE, is a special case of a new family of unsupervised learning methods, the self-supervised variational autoencoder (SSVAE). SSVAEs circumvent the usual VAE requirement to reconstruct the data by using a carefully chosen implicit decoder. The InfoNCE objective was motivated as a simplified parametric mutual information estimator. Under one choice of prior, the SSVAE objective (i.e. the ELBO) is exactly equal to the mutual information (up to constants). Under an alternative choice of prior, the SSVAE objective is exactly equal to the simplified parametric mutual information estimator used in InfoNCE (up to constants). Importantly, the use of simplified parametric mutual information estimators is believed to be critical to obtain good high-level representations, and the SSVAE framework naturally provides a principled justification for using prior information to choose these estimators.

研究动机与目标

• 将InfoNCE等对比自监督学习方法统一到更广泛的变分推断框架之下。
• 通过引入隐式解码器，解决标准VAE需要显式数据重建的局限性。
• 为自监督表示学习中使用简化参数化互信息估计器提供理论依据。
• 证明InfoNCE目标函数在特定先验选择下可自然地从SSVAE框架中导出。

提出的方法

• 提出自监督变分自编码器（SSVAE），一种新型无监督学习方法族，可绕过对显式数据重建的需求。
• 将SSVAE目标定义为证据下界（ELBO），其推导基于精心选择的隐式解码器。
• 证明当采用某一类先验时，SSVAE的ELBO在常数项意义下恰好等于互信息。
• 证明当采用另一类先验时，SSVAE目标等价于InfoNCE中使用的简化参数化互信息估计器。
• 利用先验信息，为对比学习中互信息估计器的设计提供理论依据。
• 通过SSVAE框架，建立对比学习与变分推断之间的正式联系。

实验结果

研究问题

• RQ1 能否将InfoNCE正式推导为更广泛变分推断框架下的一个特例？
• RQ2 自监督变分自编码器（SSVAE）如何在VAE中消除对显式数据重建的需求？
• RQ3 互信息估计与SSVAE目标之间的理论关系是什么？
• RQ4 为何简化参数化互信息估计器在自监督学习中有效？这一有效性能否在一个有理论依据的框架内得到解释？
• RQ5 SSVAE框架中不同的先验选择如何导致不同的目标函数，包括InfoNCE目标？

主要发现

• 当使用特定先验时，SSVAE目标在常数项意义下恰好等于互信息，建立了互信息与变分推断之间的直接理论联系。
• 在另一类先验选择下，SSVAE目标在常数项意义下等价于InfoNCE目标，表明InfoNCE是SSVAE的一个特例。
• SSVAE框架为在自监督学习中使用简化参数化互信息估计器提供了理论依据。
• SSVAE中使用隐式解码器消除了对显式数据重建的需求，这正是标准VAE的关键局限。
• 该框架揭示了先验选择直接决定了目标函数是在优化互信息本身，还是其简化估计器。
• 研究结果提供了一个统一的理论视角，将通过InfoNCE实现的对比学习与变分自编码器联系起来。