[논문 리뷰] Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting

An Zhang, Fangfu Liu외 4명|arXiv (Cornell University)|2023. 03. 06.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

이 논문은 이중 최적화를 통해 훈련 샘플을 적응적으로 재가중하는 모델에 종속되지 않는 프레임워크인 ReScore를 제안한다. 이는 미분 가능한 인과 발견을 향상시키며, 적합하기 어려운 정보성 높은 샘플을 강조하고, 쉽게 맞추는 허위 연결이 있는 샘플을 감소시킴으로써 이질적 데이터에서 DAG 구조 학습 정확도와 일반화 능력을 크게 향상시킨다. 다양한 기준선을 바탕으로 시뮬레이션 및 실세계 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Under stringent model type and variable distribution assumptions, differentiable score-based causal discovery methods learn a directed acyclic graph (DAG) from observational data by evaluating candidate graphs over an average score function. Despite great success in low-dimensional linear systems, it has been observed that these approaches overly exploit easier-to-fit samples, thus inevitably learning spurious edges. Worse still, inherent mostly in these methods the common homogeneity assumption can be easily violated, due to the widespread existence of heterogeneous data in the real world, resulting in performance vulnerability when noise distributions vary. We propose a simple yet effective model-agnostic framework to boost causal discovery performance by dynamically learning the adaptive weights for the Reweighted Score function, ReScore for short, where the weights tailor quantitatively to the importance degree of each sample. Intuitively, we leverage the bilevel optimization scheme to \wx{alternately train a standard DAG learner and reweight samples -- that is, upweight the samples the learner fails to fit and downweight the samples that the learner easily extracts the spurious information from. Extensive experiments on both synthetic and real-world datasets are carried out to validate the effectiveness of ReScore. We observe consistent and significant boosts in structure learning performance. Furthermore, we visualize that ReScore concurrently mitigates the influence of spurious edges and generalizes to heterogeneous data. Finally, we perform the theoretical analysis to guarantee the structure identifiability and the weight adaptive properties of ReScore in linear systems. Our codes are available at https://github.com/anzhang314/ReScore.

연구 동기 및 목표

• 미분 가능한 점수 기반 인과 발견 방법에서 쉽게 맞추는 허위 샘플에 대한 과적합 문제를 해결하기 위해.
• 이질적인 실세계 데이터에서 노이즈 분포 이탈로 인한 성능 저하 문제를 완화하기 위해.
• 학습 난이도에 따라 샘플 가중치를 동적으로 할당하는 모델에 종속되지 않는 프레임워크를 개발하기 위해.
• 도메인 애너테이션을 요구하지 않고도 구조 학습 정확도와 일반화 능력을 향상시키기 위해.
• 선형 시스템에서 구조 식별 가능성과 적응적 가중치 학습을 이론적으로 보장하기 위해.

제안 방법

• ReScore는 표준 DAG 학습기와 적응적 샘플 가중치를 번갈아가며 최적화하는 이중 최적화 기반 기법을 사용한다.
• 상위 수준 최적화는 하위 수준 DAG 학습기의 피팅 성능에 기반해 샘플 가중치를 조정한다.
• DAG 학습기가 잘 맞추지 못하는 샘플은 그 정보성 가치를 강조하기 위해 가중치를 높인다.
• 허위 연결을 통해 쉽게 맞추는 샘플은 학습 과정에 미치는 영향을 줄이기 위해 가중치를 낮춘다.
• 샘플별 가중치를 포함하는 미분 가능한 손실 함수를 통해 재가중 메커니즘을 구현한다.
• 이 프레임워크는 어떤 점수 기반 DAG 학습기와도 호환되어 모델에 종속되지 않으며 광범위하게 적용 가능하다.

실험 결과

연구 질문

• RQ1 허위 간선이 존재하는 상황에서 적응적 샘플 재가중이 미분 가능한 인과 발견의 정확도를 향상시킬 수 있는가?
• RQ2 도메인 애너테이션을 요구하지 않고도 ReScore가 이질적 데이터로의 일반화 능력을 향상시킬 수 있는가?
• RQ3 적응적 가중치 부여 방식이 균일하거나 고정된 가중치보다 정보성 높은 샘플을 더 잘 식별하는가?
• RQ4 ReScore는 다양한 기준선과 데이터 유형(시뮬레이션 및 실세계 데이터셋 포함)에서 어떻게 성능을 발휘하는가?
• RQ5 제안된 재가중 메커니즘의 식별 가능성과 적응적 행동에 대한 이론적 근거는 무엇인가?

주요 결과

• NOTEARS가 실패하는 시뮬레이션 체인 구조에서 ReScore는 구조적 히깅던 거리(SHD)를 100% 감소시켜 허위 간선를 제거할 수 있음을 입증한다.
• Sachs 실세계 이질적 데이터셋에서 GES+ReScore는 TPR 0.588과 SHD 28을 기록하며, 기저 진단 정보를 사용하는 CD-NOD를 능가한다.
• GraN-DAG+ReScore는 SHD 15와 15개의 예측 간선을 기록하여, 도메인 지식 없이도 CD-NOD의 성능을 재현한다.
• 다양한 데이터셋에서 Baseline+ReScore는 TPR을 최대 31.4% 향상시키고 FDR을 최대 30% 감소시킨다.
• 모든 테스트 기준선(예: NOTEARS-MLP, GOLEM, GraN-DAG)에서 ReScore는 시뮬레이션 및 실세계 데이터 모두에서 SHD와 SID를 일관되게 향상시킨다.
• 제거 분석 결과 ReScore의 적응적 가중치가 핵심임을 확인하였으며, 고정 가중치 기반 베이스라인인 Baseline+IPS는 심각한 성능 저하를 보였다.