[논문 리뷰] Learning Weighted Representations for Generalization Across Designs

Fredrik Johansson, Nathan Kallus외 2명|arXiv (Cornell University)|2018. 02. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 24인용 수 38

한 줄 요약

이 논문은 인과적 추론과 도메인 적응에서 흔히 발생하는 설계 변화 하에서 일반화를 향상시키기 위해 공동 표현 학습과 샘플 재가중 프레임워크를 제안한다. 이는 재가중 일반화 경계를 최소화하여 이루어지며, 작업 관련 표현과 적응형 가중치를 학습함으로써 IHDP에서 이전 방법들보다 65% 낮은 CATE 오차를 달성하여 최신 기준 성능을 확보한다.

ABSTRACT

Predictive models that generalize well under distributional shift are often desirable and sometimes crucial to building robust and reliable machine learning applications. We focus on distributional shift that arises in causal inference from observational data and in unsupervised domain adaptation. We pose both of these problems as prediction under a shift in design. Popular methods for overcoming distributional shift make unrealistic assumptions such as having a well-specified model or knowing the policy that gave rise to the observed data. Other methods are hindered by their need for a pre-specified metric for comparing observations, or by poor asymptotic properties. We devise a bound on the generalization error under design shift, incorporating both representation learning and sample re-weighting. Based on the bound, we propose an algorithmic framework that does not require any of the above assumptions and which is asymptotically consistent. We empirically study the new framework using two synthetic datasets, and demonstrate its effectiveness compared to previous methods.

연구 동기 및 목표

• 치료 정책과 특징 도메인의 변화로 인해 발생하는 인과적 추론과 비지도 도메인 적응에서의 분포 이탈을 다루기 위해.
• 비현실적인 가정, 고정된 지표 또는 불안정한 중요도 샘플링에 의존하는 기존 방법의 한계를 극복하기 위해.
• 사전에 지정된 지표나 알려진 정책이 필요 없이 표현과 샘플 가중치를 동시에 학습하는 점근적으로 일致하는 프레임워크를 개발하기 위해.
• 경험적 위험과 분포 이탈을 균형 잡는 재가중 경계를 최소화하여 설계 변화 하에서 일반화 오차를 줄이기 위해.
• 표현 공간에서의 유효 검증을 통해 분산 제어 및 하이퍼파rameter 튜닝을 가능하게 하기 위해.

제안 방법

• 설계 변화 하에서 일반화 오차 경계를 제안하며, 표현 학습과 샘플 재가중을 모두 포함한다.
• 재가중 경험 위험과 재가중 분포 이탈을 최소화하기 위해 표현 함수 $\Phi(x)$와 가중치 함수 $w(\Phi)$를 동시에 최적화하는 알고리즘을 제안한다.
• 표현 공간에서의 소스 및 타겟 설계 간의 분포 이탈을 측정하기 위해 적분 확률 거리(Metric, IPM)를 사용한다.
• 가중치 함수 $w$에 정규화를 적용하여 분산을 제어하고 유한 표본 성능을 향상시킨다.
• 일반화를 향상시키기 위해 보류된 소스 샘플을 사용하여 조기 정지 및 하이퍼파rameter 선택을 수행한다.
• 원시 입력 특징이 아닌 예측 표현에 기반해 학습된 가중치를 사용함으로써 비균일 재가중을 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크가 설계 변화 하에서 일반화를 향상시키기 위해 표현 학습과 샘플 재가중을 동시에 최적화할 수 있는가?
• RQ2 고차원 설정에서 표현 공간에서의 가중치 학습은 원시 입력 지표와 비교해 어떻게 다른가?
• RQ3 적응형 가중치와 표현 학습이 인과적 추론에서 반사적 예측 오차를 줄이는 데 미치는 영향은 무엇인가?
• RQ4 알려진 치료 정책이나 잘 지정된 모델이 필요 없이도 이 프레임워크가 점근적으로 일치하는가?
• RQ5 불균형 페널티 $\alpha$와 같은 하이퍼파rameter의 선택이 성능 및 안정성에 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 IHDP 데이터셋에서 $0.65 \pm 0.04$의 CATE 오차를 기록하여, 이전 최신 기준 방법인 CFRW ($0.76 \pm 0.02$)와 IPM-WNN ($1.2 \pm 0.12$)보다 뚜렷이 뛰어나다.
• 비균일 재가중(작은 $\lambda_w$)은 특히 큰 불균형 페널티 $\alpha \in [10, 1000]$에서 성능 향상을 가져오며, 균일 재가중 대비 오차를 최대 30%까지 감소시킨다.
• 하이퍼파rameter 튜닝을 통한 $\alpha$의 적응적 선택은 높은 성능을 유지하며, 오라클 $\alpha$ 설정에 가까운 $\text{RMSE}(\hat{\tau}) = 0.67 \pm 0.05$를 달성한다.
• 중간에서 큰 $\alpha$의 경우 IPM 페널티가 성능 향상에 기여함을 보여, 표현 기반 균형 조정이 일반화를 향상시킨다.
• 이 프레임워크는 타겟 예측 오차를 $0.38 \pm 0.01$로 줄여, OLS의 $1.1 \pm 0.05$보다 뚜렷이 낮게 만들어 더 뛰어난 강건성을 입증한다.
• 실험 결과는 고차원 설정에서 학습된 표현에 기반한 재가중이 원시 공간 지표보다 더 효과적임을 보여준다.