[논문 리뷰] Matching Learned Causal Effects of Neural Networks with Domain Priors

Sai Srinivas Kancheti, Abbavaram Gowtham Reddy외 2명|arXiv (Cornell University)|2021. 11. 24.

Bayesian Modeling and Causal Inference인용 수 7

한 줄 요약

이 논문은 모델의 인과적 효과와 전문가가 제공한 사전 함수 간의 기울기 일치를 통한 기울기 매칭을 통해 학습된 인과 효과를 도메인 사전 지식과 일치시키는 신경망 정규화 방법 CREDO를 제안한다. 이 방법은 높은 정확도를 유지하면서도 12개의 벤치마크 데이터셋에서 모델의 강건성과 공정성을 향상시킨다.

ABSTRACT

A trained neural network can be interpreted as a structural causal model (SCM) that provides the effect of changing input variables on the model's output. However, if training data contains both causal and correlational relationships, a model that optimizes prediction accuracy may not necessarily learn the true causal relationships between input and output variables. On the other hand, expert users often have prior knowledge of the causal relationship between certain input variables and output from domain knowledge. Therefore, we propose a regularization method that aligns the learned causal effects of a neural network with domain priors, including both direct and total causal effects. We show that this approach can generalize to different kinds of domain priors, including monotonicity of causal effect of an input variable on output or zero causal effect of a variable on output for purposes of fairness. Our experiments on twelve benchmark datasets show its utility in regularizing a neural network model to maintain desired causal effects, without compromising on accuracy. Importantly, we also show that a model thus trained is robust and gets improved accuracy on noisy inputs.

연구 동기 및 목표

• 학습 데이터에 인과적 패턴과 관련된 패턴이 모두 포함되어 있을 때 신경망이 진정한 인과 관계가 아닌 유사 상관관계를 학습하는 데서 비롯되는 한계를 해결하기 위해.
• 전문가 사용자가 인과 효과에 대한 도메인 지식—예: 단조성, 영향 없음, 특정 기능 형태 등—을 신경망 학습에 통합할 수 있도록 하기 위해.
• 직접적 및 총 인과 효과를 구분하고 정규화하여 더 정확하고 신뢰할 수 있는 모델 행동을 보장하기 위해.
• 정확한 인과적 구조를 강제하여 노이즈가 많은 입력이나 분포 외 데이터에 대한 모델의 강건성을 향상시키기 위해.
• 보호되는 특성의 예측에 대한 인과 효과를 0으로 설정하여 기계 학습의 공정성을 향상시키기 위해

제안 방법

• 신경망 출력에 대한 입력 특성에 대한 기울기로 직접적 및 총 인과 효과를 수식화한다.
• 전문가 지식을 반영하는 예상되는 인과 효과의 형태나 부호(예: 양수, 음수, 단조성, 영향 없음)를 담은 미분 가능한 도메인 사전 함수를 정의한다.
• 신경망의 인과 효과 기울기와 도메인 사전 함수의 기울기 간 L2 거리의 최소화를 통해 기울기 일치 정규화 항을 도입한다.
• 표준 예측 손실과 인과 정규화 손실을 조합한 복합 손실을 최적화하여 신경망을 학습시킨다.
• 계산 그래프에서 관련 경로에 대해 기울기를 계산하여 직접적 및 총 인과 효과 정규화를 모두 지원한다.
• 유연한 사전 지식: 사용자는 기능 형태(예: 수익 감소, U자형 곡선 등)를 포함해 부분적 또는 완전한 인과 지식을 지정할 수 있다.

실험 결과

연구 질문

• RQ1 학습 데이터에 혼란 요인 상관관계가 포함되어 있을 때, 신경망이 전문가가 제공한 도메인 사전 지식과 일치하는 인과 효과를 학습할 수 있는가?
• RQ2 학습된 인과 효과와 도메인 사전 지식 간의 기울기 일치가 노이즈가 많은 또는 분포 외 입력에 대한 모델의 강건성에 어떻게 기여하는가?
• RQ3 제안된 방법이 예측 정확도를 떨어뜨리지 않고도 보호되는 특성의 인과 효과를 0으로 설정하여 공정성을 향상시킬 수 있는가?
• RQ4 알 수 없는 또는 복잡한 인과 그래프와 다양한 유형의 도메인 사전 지식을 가진 다양한 데이터셋에 대해 이 방법이 일반화되는가?
• RQ5 공정성 지표와 인과 기여도 정확도 측면에서 기존의 공정성 알고리즘과 비교해 볼 때 이 방법은 어떻게 성능을 내는가?

주요 결과

• CREDO는 COMPAS, AutoMPG, Boston Housing를 포함한 12개의 벤치마크 데이터셋에서 사전 지식을 효과적으로 적용하였으며, 정확도 저하가 최소 수준에 머물렀다.
• SANGIOVESE 및 AutoMPG 데이터셋에서 CREDO 모델은 노이즈가 증가함에 따라 ERM보다 더 높은 정확도를 유지했으며(분산 1.0), 강건성이 향상됨을 보였다.
• 공정성 평가에서 CREDO는 아프리카계 미국인 대비 백인에 대해 Disparate Impact를 ERM의 0.77에서 0.84로 향상시켜, 간접적 차별성이 감소함을 시사했다.
• Boston Housing 데이터셋에서 CREDO는 블랙 인구에 대해 평균 인과 직접 효과(ACDE)를 0.00으로 설정했으며, ERM의 0.10보다 우수한 성능을 보였다. 이는 인과 기여도 측정에서 표준 공정성 방법을 능가함을 의미한다.
• CREDO는 0.66의 민족적 정규화 차이를 기록하여 ERM(0.86)를 능가했고, EG(0.45)와 유사한 성능를 보였으며, 인과 충실도를 더 잘 유지했다.
• 절단 실험 결과, 정규화 강도와 사전 지식의 정확성이 성능에 크게 영향을 주며, 잘못된 사전 지식은 정확도 저하로 이어짐을 확인했다.