[論文レビュー] Self-Supervised Learning with Data Augmentations Provably Isolates Content from Style

Julius von Kügelgen, Yash Sharma+5 more|arXiv (Cornell University)|Jun 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 115被引用数 62

ひとこと要約

本論文は、データ拡張を用いた自己教師あり学習(SSL)で内容とスタイルを潜在変数モデルで分離し、広範な条件下で内容のブロックの識別性を示し、因果関係に富むデータでの検証も行っている。

ABSTRACT

Self-supervised representation learning has shown remarkable success in a number of domains. A common practice is to perform data augmentation via hand-crafted transformations intended to leave the semantics of the data invariant. We seek to understand the empirical success of this approach from a theoretical perspective. We formulate the augmentation process as a latent variable model by postulating a partition of the latent representation into a content component, which is assumed invariant to augmentation, and a style component, which is allowed to change. Unlike prior work on disentanglement and independent component analysis, we allow for both nontrivial statistical and causal dependencies in the latent space. We study the identifiability of the latent representation based on pairs of views of the observations and prove sufficient conditions that allow us to identify the invariant content partition up to an invertible mapping in both generative and discriminative settings. We find numerical simulations with dependent latent variables are consistent with our theory. Lastly, we introduce Causal3DIdent, a dataset of high-dimensional, visually complex images with rich causal dependencies, which we use to study the effect of data augmentations performed in practice.

研究の動機と目的

• データ拡張がなぜSSLに役立つかを動機づけるため、拡張を内容を保持しつつスタイルを変える潜在変数過程として捉える。
• 潜在表現の内容-スタイル分割を導入し、 不変な内容ブロックの識別性を研究する。
• 潜在変数の独立性という緩和された仮定の下で、生成型と判別型SSLの理論的識別可能性の結果を提供する（潜在変数の独立性を仮定しない）。
• 合成データと因果関係が豊富な画像データ、含むCausal3DIdentデータセットを含む実験を開発・検証する。

提案手法

• 内容ブロック c とスタイルブロック s を持つ潜在変数モデルとしてデータ生成と拡張を形式化する。
• 拡張に対する内容不変性とスタイル変化の仮定を定義し、拡張を c を固定したまま s を変化させるものとしてモデル化する。
• ブロック識別性の結果を証明する：定理4.2は一致する尤度を持つ生成型SSLにおける内容識別性を示す；定理4.3はアライメントを介して可逆エンコーダを用いた識別性を示す；定理4.4は最大エントロピー正則化を用いた非可逆エンコーダでの識別性を示す。
• c が s に影響を与えるが逆は成り立たないという構造的因果モデルの中で、データ拡張を因果的反事実と結びつける。
• 実用的な拡張が不変の内容とどのように整合するかを研究するためにCausal3DIdentデータセットを導入・活用する。

実験結果

リサーチクエスチョン

• RQ1 データ拡張を伴うSSLが潜在表現の不変な内容の分割を回復できる条件は何か？
• RQ2 潜在要因の独立性を仮定せずに内容を識別できるか、可逆エンコーダと非可逆エンコーダはどのような役割を果たすか？
• RQ3 実用的なデータ拡張は内容とスタイル間の因果構造とどう関連し、拡張は反事実として解釈できるか？
• RQ4 最大エントロピー正則化は非可逆エンコーダ設定での識別性を可能にするか？
• RQ5 Causal3DIdentのような因果関係が豊富で高次元のデータセットで、拡張は内容を分離する性能をどう発揮するか？

主な発見

• 指定された生成モデルと拡張モデルの下で、拡張を伴うSSLは不変の内容の分割を識別できる。
• ブロック識別性は生成型SSL（定理4.2）と、可逆エンコーダを用いた判別型SSL（定理4.3）で成り立つ。
• 最大エントロピー正則化項を用いると非可逆エンコーダにも識別性が拡張される（定理4.4）。
• 理論は依存する潜在変数および内容がスタイルに因果的影響を与えることを考慮しており、シミュレーションデータおよび因果データ実験と整合する。
• 実用的な拡張と因果依存性の下での識別性を研究するために新しいCausal3DIdentデータセットを導入する。