[논문 리뷰] On the Generalization and Adaption Performance of Causal Models

Nino Scherrer, Anirudh Goyal외 3명|arXiv (Cornell University)|2022. 06. 09.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 데이터 생성 과정을 원인 요인에만 기반한 조건부 확률로 분해하는 모듈러한 신경망 원인 모델을 조사하며, 단일 구조 및 비원인 구조 모델에 비해 더 뛰어난 제로-샷 및 소수의 샘플에서의 일반화 및 적응 성능을 입증한다. 핵심 발견은 원인 모델이 분포 외 일반화에 뛰어난 내성적 안정성을 보이며, 특히 저자료 및 희박한 그래프 환경에서 최소한의 데이터로 효율적이고 국소적인 파라미터 업데이트를 가능하게 한다.

ABSTRACT

Learning models that offer robust out-of-distribution generalization and fast adaptation is a key challenge in modern machine learning. Modelling causal structure into neural networks holds the promise to accomplish robust zero and few-shot adaptation. Recent advances in differentiable causal discovery have proposed to factorize the data generating process into a set of modules, i.e. one module for the conditional distribution of every variable where only causal parents are used as predictors. Such a modular decomposition of knowledge enables adaptation to distributions shifts by only updating a subset of parameters. In this work, we systematically study the generalization and adaption performance of such modular neural causal models by comparing it to monolithic models and structured models where the set of predictors is not constrained to causal parents. Our analysis shows that the modular neural causal models outperform other models on both zero and few-shot adaptation in low data regimes and offer robust generalization. We also found that the effects are more significant for sparser graphs as compared to denser graphs.

연구 동기 및 목표

• 분포 이탈 상황에서 단일 및 비원인 구조 모델과의 비교를 통해 원인 모델의 일반화 및 적응 성능을 체계적으로 평가하는 것.
• 특히 원인 구조와 같은 모델의 인덕티브 바이어스가 저자료 환경에서 성능에 미치는 영향을 조사하는 것.
• 적응 과정 중 파라미터 공간의 동역학을 분석하고 효율적인 적응 전략을 규명하는 것.
• 소수의 샘플에서의 적응 효율성을 향상시키기 위해 정규화된 적응 목표 함수의 효과를 평가하는 것.

제안 방법

• 저자들은 동일한 MLP 아키텍처를 사용하여 단일 모델, 원인, 반원인, 스켈레톤 기반 예측자를 갖춘 구조 모델, 그리고 알려진 원인 구조를 가진 원인 모델을 비교함으로써 인덕티브 바이어스의 영향을 고립시켰다.
• 모델들은 하드 인터벤션(분포 이탈) 하에서의 결측치 예측 작업에서 평가되었으며, 실제 세계의 분포 변화를 시뮬레이션한다.
• 적응 능력 평가에는 제약이 없는 적응 목표와 희박한 적응 목표를 사용하였으며, 각 모듈의 기울기 크기와 파라미터 업데이트를 측정하였다.
• 새로운 정규화된 적응 목표 함수를 도입하여 업데이트 강도를 동적으로 제어함으로써 샘플 효율성을 향상시켰다.
• 분석에는 파라미터 공간의 동역학을 포함하여, 원인 모델은 국소적인 업데이트를 보이는 반면 단일 모델은 광범위한 업데이트를 보임을 확인하였다.
• 저차원 데이터셋을 대상으로 실험를 수행하였으며, 원인 변수와 비순환 원인 그래프가 명시적으로 제공되었다.

실험 결과

연구 질문

• RQ1 원인 모델은 제로-샷 및 소수의 샘플에서의 일반화 및 적응 성능 측면에서 단일 및 비원인 구조 모델에 비해 어떻게 비교되는가?
• RQ2 원인 모델의 성능은 특히 저자료 환경에서 데이터 가용성에 따라 달라지는가?
• RQ3 분포 이탈에 대응하여 단일 모델과 원인 모델 간의 적응 과정에서의 파라미터 업데이트 방식은 어떻게 다를까?
• RQ4 정규화된 적응 목표 함수는 원인 모델의 샘플 효율성과 적응 속도를 향상시킬 수 있는가?
• RQ5 희박한 원인 그래프에 비해 조밀한 원인 그래프에서 원인 모델의 이점이 더 두드러지는가?

주요 결과

• 모듈러한 신경망 원인 모델은 특히 저자료 환경에서 단일 모델 및 비원인 구조 모델보다 제로-샷 및 소수의 샘플에서의 적응 성능이 뛰어나다.
• 원인 모델은 적응 과정에서 국소적인 파라미터 업데이트를 보이며, 비인터벤션 모듈의 기울기 크기가 단일 모델보다 크게 감소한다.
• 원인 모델과 비원인 모델 간의 성능 격차는 밀도가 낮은 원인 그래프에서 더 두드러진다.
• 정규화된 적응은 특히 적은 수의 적응 샘플이 존재할 경우 적응 속도와 통계적 효율성을 향상시킨다.
• 충분한 데이터로 훈련된 원인 모델은 제약이 없는 적응 목표와 희박한 적응 목표 모두에서 거의 동일한 적응 성능를 달성하며, 이는 간섭 불확실성에 대한 강건성을 시사한다.
• 원인 모델의 적응 행동은 안정적이고 효율적이며, 영향을 받지 않은 모듈에 대한 간섭이 최소화되며, 반면 단일 모델은 많은 구성 요소를 함께 적응시키는 경향이 있다.