[논문 리뷰] Disentanglement of Correlated Factors via Hausdorff Factorized Support

Karsten Roth, Mark Ibrahim외 3명|arXiv (Cornell University)|2022. 10. 13.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 생성적 요인 간의 통계적 독립성이라는 비현실적인 가정을 완화하기 위해 쌍별로 분리된 지원만을 강제하는 새로운 탈중합 기준인 Hausdorff Factorized Support(HFS)를 제안한다. 예측된 요인 지원과 진짜 요인 지원 사이의 Hausdorff 거리 최소화를 통해 HFS는 임의의 상관관계 하에서도 강건한 탈중합을 가능하게 하며, Shapes3D, MPI3D, DSprites와 같은 벤치마크에서 상대적 성능 향상이 60% 이상 이루어지게 한다. 이는 심각한 상관관계 이동 조건에서도 성립한다.

ABSTRACT

A grand goal in deep learning research is to learn representations capable of generalizing across distribution shifts. Disentanglement is one promising direction aimed at aligning a model's representation with the underlying factors generating the data (e.g. color or background). Existing disentanglement methods, however, rely on an often unrealistic assumption: that factors are statistically independent. In reality, factors (like object color and shape) are correlated. To address this limitation, we consider the use of a relaxed disentanglement criterion -- the Hausdorff Factorized Support (HFS) criterion -- that encourages only pairwise factorized \emph{support}, rather than a factorial distribution, by minimizing a Hausdorff distance. This allows for arbitrary distributions of the factors over their support, including correlations between them. We show that the use of HFS consistently facilitates disentanglement and recovery of ground-truth factors across a variety of correlation settings and benchmarks, even under severe training correlations and correlation shifts, with in parts over $+60\%$ in relative improvement over existing disentanglement methods. In addition, we find that leveraging HFS for representation learning can even facilitate transfer to downstream tasks such as classification under distribution shifts. We hope our original approach and positive empirical results inspire further progress on the open problem of robust generalization. Code available at https://github.com/facebookresearch/disentangling-correlated-factors.

연구 동기 및 목표

• 기존 탈중합 방법들이 통계적 독립성을 가정하는 데서 비롯되는 한계를 해결하기 위해.
• 생성적 요인 간의 임의의 상관관계가 존재하는 조건에서도 효과적인 탈중합 기준을 개발하기 위해.
• 팩터별 분포가 아닌 분리된 지원에 초점을 맞춤으로써 분포 이동 상황에서도 강건한 표현 학습을 가능하게 하기 위해.
• 독립성 가정을 초월하면서도 탈중합 품질을 유지할 수 있는 계산적으로 타당한 방법을 제공하기 위해.
• 상관관계가 있는 요인을 포함한 벤치마크에서 향상된 탈중합 및 후속 전이 성능을 입증하기 위해.

제안 방법

• 실제 잠재 요인의 지원과 분리된 기준 집합 사이의 Hausdorff 거리를 최소화하는 Hausdorff Factorized Support(HFS) 기준을 제안한다.
• 전체 요인 간의 독립성 요구 조건을 완화하기 위해 쌍별로 분리된 지원에 집중함으로써, 지원 내에서 임의의 공동 분포를 허용한다.
• 쌍별 Hausdorff 거리를 사용해 분리된 지원에서의 이탈 정도를 측정함으로써, 오토인코더 기반 모델에서 효율적인 최적화를 가능하게 한다.
• variational autoencoder 프레임워크 내에서 HFS 목적함수를 정규화 항으로 적용함으로써, 인코더-디코더 아키텍처의 인덕티브 편향을 활용한다.
• 엔드 투 엔드 학습을 가능하게 하기 위해, 잠재 변수의 배치 기반 쌍별 조합을 사용해 Hausdorff 거리의 미분 가능 근사치를 도입한다.
• 성능 유지와 함께 계산 비용을 줄이기 위해 잠재 변수 쌍에 대한 서브샘플링 전략을 적용한다.

실험 결과

연구 질문

• RQ1 생성적 요인이 상관관계가 있을 때 통계적 독립성을 가정하지 않고도 탈중합이 가능할 수 있는가?
• RQ2 전체적으로 인덱스 독립성 대비 쌍별로만 분리된 지원을 강제할 경우 더 나은 탈중합 성능를 달성할 수 있는가?
• RQ3 심각한 상관관계 이동과 공통 혼란 요인 존재 조건에서 HFS 기준은 어떻게 성능을 보이는가?
• RQ4 HFS는 분포 이동 조건 하에서도 후속 전이 성능 향상에 기여하는가?
• RQ5 다양한 수준의 요인 상관관계를 가진 다양한 벤치마크에서 HFS 기준은 강건한가?

주요 결과

• HFS는 Shapes3D, MPI3D, DSprites에서 강한 상관관계 설정 조건 하에서 최신 기술 대비 탈중합 성능 향상이 60% 이상 이루어지며, 상대적 성능 향상이 초과된다.
• 이중, 다중 쌍, 공통 혼란 설정을 포함한 모든 테스트된 상관관계 구성에서 HFS는 일관되게 베이스라인을 능가한다.
• HFS는 실제 요인이 매우 상관관계가 높은 경우, 예를 들어 객체 유형이 모든 다른 요인과 혼란되어 있을 경우에도 효과적인 탈중합을 가능하게 한다.
• 이 방법은 분포 이동 조건 하에서도 강건한 표현 학습을 가능하게 하며, 분포 이동 조건에서 후속 분류 정확도를 향상시킨다.
• HFS는 진짜 요인 분포의 지원 내에서 탈중합을 유지함으로써, 분포 외 이동 조건에 대해서도 강력한 일반화 능력을 보여준다.
• 이 방법은 계산적으로 효율적이며 확장 가능하며, Hausdorff 거리의 미분 가능 근사치를 통해 엔드 투 엔드 학습이 가능하다.