[논문 리뷰] A theory of independent mechanisms for extrapolation in generative models

Michel Besserve, Rémy Sun외 2명|arXiv (Cornell University)|2020. 04. 01.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 인과적 구조가 관측되지 않을 경우에도 추론 능력을 향상시키기 위해 기계의 독립성 원리(Independence of Mechanisms, IM)를 활용하는 이론적 프레임워크를 제안한다. 군에 대한 불변성 최적화를 통해 계층 간 스펙트럼 독립성을 강제함으로써, 훈련 데이터 분포를 초월한 일반화 능력을 향상시킨다. 실험 결과, VAE 및 GAN에서 왜곡이 감소하고 간섭의 국소화가 향상됨을 확인하였다.

ABSTRACT

Generative models can be trained to emulate complex empirical data, but are they useful to make predictions in the context of previously unobserved environments? An intuitive idea to promote such extrapolation capabilities is to have the architecture of such model reflect a causal graph of the true data generating process, such that one can intervene on each node independently of the others. However, the nodes of this graph are usually unobserved, leading to overparameterization and lack of identifiability of the causal structure. We develop a theoretical framework to address this challenging situation by defining a weaker form of identifiability, based on the principle of independence of mechanisms. We demonstrate on toy examples that classical stochastic gradient descent can hinder the model's extrapolation capabilities, suggesting independence of mechanisms should be enforced explicitly during training. Experiments on deep generative models trained on real world data support these insights and illustrate how the extrapolation capabilities of such models can be leveraged.

연구 동기 및 목표

• 인과적 구조가 관측되지 않거나 특정화되지 않을 경우 딥 생성 모델에서의 외삽 문제를 해결하기 위해.
• 관측된 인과 변수가 없는 비지도 설정에서도 실현 가능한 더 약한 형태의 특정화 기반으로 기계의 독립성(IM)을 개발하기 위해.
• 표준 확률적 경사 하강법(SGD) 훈련이 기계 간 간섭으로 인해 외삽 능력을 떨어뜨릴 수 있음을 밝히기 위해.
• 계층 간 일반성, 특히 스펙트럼 독립성을 강제하는 방법을 제안하여 인과 유사한 일반화를 촉진하기 위해.
• 실세계 데이터를 사용하여 VAE 및 GAN에서 이 프레임워크를 실증적으로 검증하고, 통제된 간섭을 통해 외삽 능력 향상을 보여주기 위해.

제안 방법

• 군 \mathcal{G}에 대한 일반성(\mathcal{G}-genericity) 개념을 도입하여, \mathcal{G}에 따른 모델 파라미터 간섭이 구조적 불변성을 유지하고 외삽을 가능하게 함을 보여줌.
• 스펙트럼 종속 비율(SDR)을 정의하여, 계층 간 합성곱 필터와 활성화 맵 간의 통계적 독립성을 측정함.
• SDR를 여러 수준(이미지, 중간, 세밀)에서 최소화하는 훈련 목표를 설정하여 기계의 독립성을 강제함.
• 표준 VAE 목표에 대한 SGD 업데이트와 SDR 최소화를 번갈아 적용하여 생성 성능와 기계 독립성의 균형을 유지함.
• 군 불변성 원리를 활용해 비모수적 방식으로 IM를 탄력적으로 측정함으로써 관측된 인과 변수에 의존하지 않음.
• VAE의 디코더(생성기)와 인코더를 비교하여 기계 독립성의 비대칭성을 평가하고, 생성기에서의 IM이 역기계에서의 IM을 보장하지는 않음을 보여줌.

실험 결과

연구 질문

• RQ1 관측된 인과 변수가 없더라도 비지도 딥 생성 모델에서 기계의 독립성에 기반한 더 약한 형태의 특정화를 확립할 수 있는가?
• RQ2 표준 확률적 경사 하강법(SGD)은 모델의 훈련 분포를 초월한 외삽 능력에 어떤 영향을 미치는가?
• RQ3 스펙트럼 독립성이 얼마나 잘 convolutional 생성 모델에서 기계의 독립성의 대체 지표로 기능하는가?
• RQ4 훈련 중 스펙트럼 독립성을 강제하면 은닉 계층에 대한 간섭의 국소화와 강건성은 향상되는가?
• RQ5 생성기의 일반성은 인코더보다 어떻게 다른가? 이는 인과적 구조 복원에 어떤 함의를 갖는가?

주요 결과

• 전통적인 SGD 훈련은 외삽 능력 저하를 나타내는 증가하는 왜곡과 주기적인 간섭 패tern을 유도함.
• 실험 결과, SDR 최소화 훈련은 특히 세밀하고 중간 계층에서 평균 제곱오차의 증가를 억제함.
• VAE 디코더는 SDR 값이 약 1에 가까워 강한 스펙트럼 독립성을 보이며, 이는 \mathcal{S}-generalization을 지지함. 반면 인코더는 더 넓고 덜 독립적인 분포를 보임.
• SDR 최소화를 통해 중간 및 세밀 계층에 대한 간섭이 표준 VAE 훈련 대비 더 잘 국소화됨.
• 이 프레임워크는 스펙트럼 제어를 통한 기계의 독립성 강제가 데이터 생성 과정의 변화를 시뮬레이션하는 데 모델의 능력을 향상시킴을 보여줌.
• 결과는 스펙트럼 독립성이 convolutional 생성 모델에서 기계의 독립성의 타당한 대체 지표가 되며, 더 강건하고 해석 가능한 외삽을 가능하게 함을 지지함.