[論文レビュー] InfoNCE is a variational autoencoder.

Laurence Aitchison|arXiv (Cornell University)|Jul 6, 2021

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 8

ひとこと要約

この論文は、広く用いられている自己教師あり学習手法であるInfoNCEが、従来のデータ再構築を暗黙のデコーダーで置き換える新しいフレームワークである自己教師あり変分オートエンコーダー（SSVAE）の特別なケースに数学的に等価であることを示している。SSVAEは、特定の事前分布のもとでその目的関数が相互情報量推定と等価であることを示すことにより、表現学習における簡略化されたパrametric相互情報量推定器の使用を理論的に正当化する、整合性のある基礎を提供する。

ABSTRACT

We show that a popular self-supervised learning method, InfoNCE, is a special case of a new family of unsupervised learning methods, the self-supervised variational autoencoder (SSVAE). SSVAEs circumvent the usual VAE requirement to reconstruct the data by using a carefully chosen implicit decoder. The InfoNCE objective was motivated as a simplified parametric mutual information estimator. Under one choice of prior, the SSVAE objective (i.e. the ELBO) is exactly equal to the mutual information (up to constants). Under an alternative choice of prior, the SSVAE objective is exactly equal to the simplified parametric mutual information estimator used in InfoNCE (up to constants). Importantly, the use of simplified parametric mutual information estimators is believed to be critical to obtain good high-level representations, and the SSVAE framework naturally provides a principled justification for using prior information to choose these estimators.

研究の動機と目的

• 対照的自己教師あり学習手法（例：InfoNCE）をより広範な変分推論フレームワークの下に統一すること。
• 従来のVAEが明示的なデータ再構築を必要とするという制限を克服し、暗黙のデコーダーを導入すること。
• 自己教師あり表現学習における簡略化されたパrametric相互情報量推定器の使用に理論的根拠を与えること。
• 特定の事前分布の選択のもとで、InfoNCEの目的関数がSSVAEフレームワークから自然に導かれることが示されること。

提案手法

• 明示的なデータ再構築を必要としない、新しい非教師あり学習手法の族である自己教師あり変分オートエンコーダー（SSVAE）を導入すること。
• SSVAEの目的関数を、適切に選ばれた暗黙のデコーダーを用いて導出された下界（ELBO）として定義すること。
• ある種の事前分布を選択した場合、SSVAEのELBOが定数を除いて正確に相互情報量に等しくなることを示すこと。
• 別の事前分布の選択のもとで、SSVAEの目的関数がInfoNCEで用いられる簡略化されたパrametric相互情報量推定器と等価になることを実証すること。
• 事前情報を利用して、対照的学習における相互情報量推定器の設計を正当化すること。
• SSVAEフレームワークを通じて、対照的学習と変分推論の間の明確な形式的つながりを確立すること。

実験結果

リサーチクエスチョン

• RQ1 InfoNCEは、より広範な変分推論フレームワークの特別なケースとして形式的に導出可能か？
• RQ2 自己教師あり変分オートエンコーダー（SSVAE）は、VAEにおける明示的なデータ再構築の必要性をどのように排除するか？
• RQ3 相互情報量推定とSSVAE目的関数の理論的関係は何か？
• RQ4 簡略化されたパrametric相互情報量推定器はなぜ自己教師あり学習で効果的なのか？そして、整合的なフレームワーク内でその有効性をどのように正当化できるか？
• RQ5 SSVAEフレームワークにおける異なる事前分布の選択が、相互情報量の最適化またはその簡略化された推定器の最適化といった異なる目的関数をもたらす仕組みは何か？

主な発見

• 特定の事前分布を用いた場合、SSVAEの目的関数は定数を除いて正確に相互情報量に等しくなる。これにより、相互情報量と変分推論の間の直接的な理論的つながりが確立される。
• 別の事前分布の選択のもとで、SSVAEの目的関数は定数を除いてInfoNCEの目的関数と等価になる。これにより、InfoNCEがSSVAEの特別なケースであることが示される。
• SSVAEフレームワークは、自己教師あり学習における簡略化されたパrametric相互情報量推定器の使用に理論的根拠を与える。
• SSVAEにおける暗黙のデコーダーの使用により、従来のVAEにおける明示的データ再構築の必要性が排除される。これは、標準VAEの主要な制限要因である。
• このフレームワークは、事前分布の選択が目的関数が相互情報量を最適化するか、それともその簡略化された推定器を最適化するかを直接決定することを明らかにする。
• 結果として、対照的学習（InfoNCE経由）と変分オートエンコーダーの間の統一的理論的視点が得られる。