[논문 리뷰] Is Independence all you need? On the Generalization of Representations Learned from Correlated Data

Frederik Träuble, Elliot Creager외 5명|arXiv (Cornell University)|2020. 06. 14.

Machine Learning and Data Classification인용 수 9

한 줄 요약

이 논문은 관련된 요인의 변동성이 있는 데이터에서 디센트레이션 방법의 일반화 성능을 조사하며, 디센트레이션 점수가 이를 감지하지 못함에도 불구하고 잠재 표현이 이러한 상관관계를 학습한다는 점을 드러낸다. 저자들은 인과적으로 타당한 약한 지도 학습을 제안하여 잠재 상관관계를 효과적으로 분리함으로써, 독립적인 요인보다는 독립적인 메커니즘을 학습하는 것이 견고한 일반화에 핵심적임을 입증한다.

ABSTRACT

Despite impressive progress in the last decade, it still remains an open challenge to build models that generalize well across multiple tasks and datasets. One path to achieve this is to learn meaningful and compact representations, in which different semantic aspects of data are structurally disentangled. The focus of disentanglement approaches has been on separating independent factors of variation despite the fact that real-world observations are often not structured into meaningful independent causal variables to begin with. In this work we bridge the gap to real-world scenarios by analyzing the behavior of most prominent methods and disentanglement scores on correlated data in a large scale empirical study (including 3900 models). We show that systematically induced correlations in the dataset are being learned and reflected in the latent representations, while widely used disentanglement scores fall short of capturing these latent correlations. Finally, we demonstrate how to disentangle these latent correlations using weak supervision, even if we constrain this supervision to be causally plausible. Our results thus support the argument to learn independent mechanisms rather than independent factors of variations.

연구 동기 및 목표

• 실생활 시나리오에서 흔한 상관관계를 가진 데이터에서 디센트레이션 방법의 성능을 조사하는 것.
• 일반적으로 사용되는 디센트레이션 점수가 학습된 표현 내 잠재 상관관계의 존재를 정확히 반영하는지 평가하는 것.
• 완전한 요인 독립성 없이도 잠재 상관관계를 효과적으로 분리하는 데 약한, 인과적으로 타당한 지도 학습이 가능한지 탐색하는 것.
• 디센트레이션은 독립적인 요인의 변동성을 목표로 해야 한다는 가정을 도전하며, 대신 독립적인 메커니즘을 학습하는 것이 바람직하다고 주장하는 것.

제안 방법

• 시스템적으로 유도된 상관관계를 가진 데이터셋에서 최신 디센트레이션 방법의 행동을 분석하기 위해 3,900개의 모델을 대상으로 대규모 실험 연구를 수행하였다.
• 표현을 평가하기 위해 디센트레이션 점수를 사용했지만, 데이터 구조에 의해 유도된 잠재 상관관계를 감지하는 데에는 부적합함을 발견하였다.
• 기본 데이터 생성 과정과 일치하는 인과적으로 타당한 약한 지도 학습을 도입하여 잠재 상관관계의 디센트레이션을 이끌었다.
• 약한 지도 학습을 적용하여 잠재 표현을 개선함으로써, 진정한 요인이 상관관계가 있는 경우에도 디센트레이션을 가능하게 하였다.
• 다양한 작업에서의 디센트레이션 품질 향상과 일반화 성능 향상을 측정하여 방법의 효과성을 평가하였다.

실험 결과

연구 질문

• RQ1 요인의 변동성이 상관관계가 있는 데이터에서 학습된 디센트레이션 방법은 어떻게 성능을 발휘하는가?
• RQ2 표준 디센트레이션 점수는 학습된 표현 내 잠재 상관관계를 어느 정도 감지하는가?
• RQ3 인과적으로 타당한 약한 지도 학습은 표현 내 잠재 상관관계를 효과적으로 분리할 수 있는가?
• RQ4 독립적인 요인 대신 독립적인 메커니즘을 학습하는 것이 실생활 데이터에서 더 나은 일반화로 이어지는가?

주요 결과

• 최신 디센트레이션 방법이 학습한 잠재 표현은 훈련 데이터에 존재하는 상관관계를 체계적으로 반영한다.
• 표준 디센트레이션 점수는 이러한 잠재 상관관계를 감지하지 못하여 디센트레이션 품질이 과대평가된다.
• 인과적으로 타당한 약한 지도 학습은 진정한 요인이 상관관계가 있는 경우에도 잠재 상관관계를 성공적으로 분리한다.
• 결과는 독립적인 요인의 변동성을 목표로 하는 것에서 독립적인 메커니즘을 학습하는 것으로의 전환을 지지한다.
• 연구는 표준 평가 지표에만 의존할 경우 상관관계가 있는 데이터에서 디센트레이션 성능이 크게 떨어짐을 입증한다.