[논문 리뷰] Self-Supervised Learning with Data Augmentations Provably Isolates Content from Style

Julius von Kügelgen, Yash Sharma외 5명|arXiv (Cornell University)|2021. 06. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 115인용 수 62

한 줄 요약

논문은 데이터 증강을 활용한 SSL에서 콘텐츠와 스타일을 구분하는 잠재 변수 모델을 제시하고, 넓은 조건에서 콘텐츠의 블록 식별 가능성을 입증하며 인과 관계가 풍부한 데이터로 검증한다.

ABSTRACT

Self-supervised representation learning has shown remarkable success in a number of domains. A common practice is to perform data augmentation via hand-crafted transformations intended to leave the semantics of the data invariant. We seek to understand the empirical success of this approach from a theoretical perspective. We formulate the augmentation process as a latent variable model by postulating a partition of the latent representation into a content component, which is assumed invariant to augmentation, and a style component, which is allowed to change. Unlike prior work on disentanglement and independent component analysis, we allow for both nontrivial statistical and causal dependencies in the latent space. We study the identifiability of the latent representation based on pairs of views of the observations and prove sufficient conditions that allow us to identify the invariant content partition up to an invertible mapping in both generative and discriminative settings. We find numerical simulations with dependent latent variables are consistent with our theory. Lastly, we introduce Causal3DIdent, a dataset of high-dimensional, visually complex images with rich causal dependencies, which we use to study the effect of data augmentations performed in practice.

연구 동기 및 목표

• 데이터 증강이 SSL에 도움이 되는 이유를 이해하도록 동기를 부여하기 위해 증강을 콘텐츠를 보존하고 스타일을 변화시키는 잠재 변수 프로세스로 프레이밍한다.
• 잠재 표현의 콘텐츠-스타일 분할을 도입하고 불변 콘텐츠 블록의 식별 가능성을 연구한다.
• 잠재 변수 독립성 가정 없이도 완화된 가정하에 생성적/판별적 SSL에 대한 이론적 식별 가능성 결과를 제공한다.
• 합성 및 인과적 데이터가 풍부한 이미지 데이터(예: Causal3DIdent 데이터셋)를 대상으로 실험을 통해 개발 및 검증한다.

제안 방법

• 컨텐츠 블록 c와 스타일 블록 s를 갖는 잠재 변수 모델로 데이터 생성 및 증강을 형식화한다.
• 증강에 대한 콘텐츠 불변성 및 스타일 변화 가정을 정의하고, 콘텐츠를 고정한 채 s를 변화시키는 증강으로 모델링한다.
• 블록 식별 가능성 결과를 증명한다: Theorem 4.2는 일치하는 가능도에서 생성적 SSL에서 콘텐츠 식별 가능성을 보이고; Theorem 4.3은 정렬을 통해 가역 인코더를 사용하는 경우 식별 가능성을 보이며; Theorem 4.4는 최대 엔트로피 정규화(max-entropy regularization)를 사용한 비가역 인코더에서도 식별 가능성을 보인다.
• 구조적 인과 모델에서 c가 s에 영향을 주지만 그 반대가 아닌 상황에서 데이터 증강을 인과적 반사실(counterfactual)과 연결한다.
• 실용적 증강이 불변 콘텐츠와 어떻게 일치하는지 연구하기 위해 Causal3DIdent 데이터셋을 도입하고 활용한다.

실험 결과

연구 질문

• RQ1 SSL에 데이터 증강이 포함될 때 잠재 표현의 불변 콘텐츠 분할을 회복할 수 있는 조건은 무엇인가?
• RQ2 잠재 요인의 독립성을 가정하지 않고도 콘텐츠를 식별할 수 있는가, 가역 인코더와 비가역 인코더의 역할은 무엇인가?
• RQ3 실용적 데이터 증강은 콘텐츠와 스타일 간의 인과 구조와 어떻게 관련되며 증강을 반사실로 해석할 수 있는가?
• RQ4 비가역 인코더 설정에서 최대 엔트로피 규제는 식별 가능성을 가능하게 하는가?
• RQ5 Causal3DIdent와 같은 인과적으로 풍부한 고차원 데이터셋에서 증강이 콘텐츠 식별에 얼마나 효과적인가?

주요 결과

• 데이터 증강이 포함된 SSL은 주어진 생성 및 증강 모델 하에서 불변 콘텐츠 분할을 식별할 수 있다.
• 블록 식별 가능성은 생성적 SSL에 대해 성립합니다(Theorem 4.2), 그리고 가역 인코더를 사용하는 판별적 SSL에 대해서도 성립합니다(Theorem 4.3).
• 비가역 인코더에서도 최대 엔트로피 정규화를 사용하면 식별 가능성이 확장됩니다(Theorem 4.4).
• 이론은 종속 잠재 변수 및 콘텐츠가 스타일에 미치는 인과적 영향을 수용하며, 시뮬레이션 및 인과 데이터 실험과 일치합니다.
• 실용적 증강 및 인과적 의존성 하에서 식별 가능성을 연구하기 위해 새로운 Causal3DIdent 데이터셋이 도입되었습니다.