[논문 리뷰] Counterfactual Normalization: Proactively Addressing Dataset Shift and Improving Reliability Using Causal Mechanisms

Adarsh Subbaswamy, Suchi Saria|arXiv (Cornell University)|2018. 08. 09.

Bayesian Modeling and Causal Inference참고 문헌 30인용 수 15

한 줄 요약

이 논문은 대체적 정규화(Counterfactual Normalization)를 제안하며, 이는 인과적 기계학습 방법으로, 관측되지 않은 혼동요인을 포함한 환경에 의존하는 불안정한 관계를 식별하고 제거하여 데이터셋 이동에 대한 모델의 강건성을 사전에 향상시킨다. 대체적 변수를 사용하여 안정적인 경로를 분리함으로써, 취약한 변수를 그 대체적 형태로 교체함으로써 실사용 시의 신뢰성을 높인다. 이로 인해 훈련 시 약간의 정확도 손실가 있더라도, 소규모의 성능 저하를 감수하고도 다양한 도메인 간 보다 잘 일반화되는 모델을 얻을 수 있다.

ABSTRACT

Predictive models can fail to generalize from training to deployment environments because of dataset shift, posing a threat to model reliability and the safety of downstream decisions made in practice. Instead of using samples from the target distribution to reactively correct dataset shift, we use graphical knowledge of the causal mechanisms relating variables in a prediction problem to proactively remove relationships that do not generalize across environments, even when these relationships may depend on unobserved variables (violations of the "no unobserved confounders" assumption). To accomplish this, we identify variables with unstable paths of statistical influence and remove them from the model. We also augment the causal graph with latent counterfactual variables that isolate unstable paths of statistical influence, allowing us to retain stable paths that would otherwise be removed. Our experiments demonstrate that models that remove vulnerable variables and use estimates of the latent variables transfer better, often outperforming in the target domain despite some accuracy loss in the training domain.

연구 동기 및 목표

• 훈련 환경와 배포 환경 간 분포 이동으로 인해 발생하는 예측 모델의 데이터셋 이동 문제를 해결하기 위해.
• 실패 시 위험한 예측을 초래할 수 있는 의료 분야와 같은 안전이 중요한 애플리케이션에서 일반화 실패가 초래하는 위험을 줄이기 위해.
• 관측되지 않은 혼동요인을 요구하지 않고도 인과 지식을 활용하여 불안정한 관계를 식별하고 제거하는 사전적 방법을 개발하기 위해.
• 취약한 변수를 대체적 형태로 교체함으로써 안정적인 통계적 영향을 분리함으로써 모델의 일반화 능력을 향상시키기 위해.
• 기존의 조정 기반 방법에 비해 더 해석 가능한 대안을 제공하기 위해 인과 기반의 대체적 특징을 활용하기 위해.

제안 방법

• 입력 특징, 목표 결과 및 잠재적 혼동요인 간의 관계를 모델링하기 위해 인과 그래프(DAG)를 구성한다.
• d-분리 및 인과 그래프 분석을 사용하여 불안정한 통계적 영향 경로를 가진 변수—특히 관측되지 않은 혼동요인이나 선택 편향에 의존하는 변수—를 식별한다.
• 취약한 변수(예: 정책에 따라 분포가 달라지는 치료법 또는 공존질환 등)를 불안정한 경로를 차단하는 대체적 형태로 교체한다.
• 잠재적 대체적 변수를 도입하여 다른 간섭 조건 하에서의 결과가 어떻게 되었을지를 모델링한다(예: '치료되지 않았다면 혈압은 어떠했을까?'). 이는 안정적인 인과 효과를 유지한다.
• 모델을 이러한 대체적 특징를 조건 변수로 사용하여 훈련함으로써, 예측이 오직 안정적이고 불변하는 관계에만 의존하도록 보장한다.
• 편향된 데이터에서 훈련된 로지스틱 회귀 모델을 사용하여 평가하며, 훈련 데이터와 비편향 테스트 데이터 간 성능을 AUROC 및 AUPRC를 통해 비교한다.

실험 결과

연구 질문

• RQ1 관측되지 않은 혼동요인이 존재하여 '관측되지 않은 혼동요인 없음'의 가정을 위반할 경우, 대체적 정규화가 데이터셋 이동 상황에서 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ2 취약한 변수를 대체적 형태로 교체하면 다양한 배포 환경 간에 더 안정적인 성능을 보일 수 있는가?
• RQ3 편향된 테스트 분포와 비편향 테스트 분포 모두에서, 대체적으로 정규화된 모델의 성능은 취약 변수를 사용한 표준 모델과 비교해 어떻게 되는가?
• RQ4 관측된 정책 또는 혼동요인 분포에 의존하지 않고도 대체적 특징이 얼마나 높은 신뢰성 향상에 기여하는가?
• RQ5 목표 도메인 데이터에 접근할 수 없는 상황에서, 대체적 정규화는 반응형 도메인 적응 방법을 능가할 수 있는가?

주요 결과

• 비편향 테스트 데이터에서 대체적 정규화 모델은 평균 AUPRC가 0.30을 기록하여 취약 모델(0.24)보다 유의미하게 높았고, 다양한 환경 간에 더 높은 안정성을 보였다.
• 편향된 훈련 데이터에서 대체적 정규화 모델의 AUPRC는 취약 모델(0.45)보다 약간 낮은 0.38을 기록하여, 기대되는 훈련 성능 저하의 여유를 확인했다.
• 대체적 정규화 모델은 훈련 도메인과 테스트 도메인 간 성능 격차가 훨씬 작았으며(AUPRC 감소 0.06), 취약 모델보다는 훨씬 더 낮은 격차(감소 0.21)를 보여, 더 높은 강건성을 입증했다.
• 비편향 데이터에서 취약 변수를 사용한 대체적 정규화 모델은 비취약 버전보다 성능이 열 劣했으며, 이는 대체적 특징를 효과적으로 활용하지 못했음을 시사했다.
• 이 방법은 관측되지 않은 혼동요인과 선택 편향으로 인한 불안정한 영향을 제거함으로써 안정적인 인과적 경로를 효과적으로 분리하였고, 실사용 시 더 신뢰할 수 있는 예측을 가능하게 하였다.
• 결과는 대체적 정규화가 훈련 데이터에 체계적인 편향이 존재하더라도, 새로운 환경으로의 일반화 능력을 향상시킬 수 있음을 입증한다.