[논문 리뷰] CASTLE: Regularization via Auxiliary Causal Graph Discovery

Trent Kyono, Yao Zhang외 1명|arXiv (Cornell University)|2020. 09. 28.

Bayesian Modeling and Causal Inference참고 문헌 49인용 수 27

한 줄 요약

CASTLE는 훈련 중 보조 작업으로 인과적 방향성 비순환 그래프(DAG)를 함께 학습함으로써 딥러닝의 일반화 성능을 향상시키는 새로운 정규화 방법을 제안한다. 인과적 이웃을 가진 특성들만 재구성하고 인과적 구조를 활용함으로써, 다양한 합성 및 실세계 데이터셋에서 뛰어난 일반화 성능을 달성하며, 드롭아웃, 가중치 감쇠, 오토인코더와 같은 기존 정규화 방법들을 일관되게 능가한다.

ABSTRACT

Regularization improves generalization of supervised models to out-of-sample data. Prior works have shown that prediction in the causal direction (effect from cause) results in lower testing error than the anti-causal direction. However, existing regularization methods are agnostic of causality. We introduce Causal Structure Learning (CASTLE) regularization and propose to regularize a neural network by jointly learning the causal relationships between variables. CASTLE learns the causal directed acyclical graph (DAG) as an adjacency matrix embedded in the neural network's input layers, thereby facilitating the discovery of optimal predictors. Furthermore, CASTLE efficiently reconstructs only the features in the causal DAG that have a causal neighbor, whereas reconstruction-based regularizers suboptimally reconstruct all input features. We provide a theoretical generalization bound for our approach and conduct experiments on a plethora of synthetic and real publicly available datasets demonstrating that CASTLE consistently leads to better out-of-sample predictions as compared to other popular benchmark regularizers.

연구 동기 및 목표

• 감독형 딥러닝에서 정규화에 인과적 구조를 통합함으로써 일반화 성능을 향상시키는 것.
• 기존 정규화 방법들이 변수 간 인과 관계를 간과한다는 한계를 해결하는 것.
• 모든 특성을 재구성하는 방법의 비효율성, 즉 관련이 없거나 노이즈가 많은 특성들까지 재구성하는 문제를 해결하는 것.
• 인과 부모 발견을 통해 최적의 예측자들을 식별하는 이론적으로 탄탄한 안정된 정규화 방법을 개발하는 것.
• 고차원 및 노이즈가 많은 환경을 포함한 다양한 데이터셋에서 일관된 성능 향상을 입증하는 것.

제안 방법

• CASTLE는 피드포워드 신경망의 입력 레이어에 인과적 DAG를 인접행렬 형태로 통합한다.
• DAG 공간에서의 연속 최적화를 통해 예측 작업과 인과적 구조 탐색을 동시에 최적화한다.
• 학습된 DAG에서 인과적 이웃을 가진 입력 특성들만 재구성함으로써 관련이 없는 또는 노이즈가 많은 특성들의 비효율적 재구성 방지를 한다.
• DAG 제약 조건의 미분 가능 근사화를 통해 연속 최적화를 통한 엔드 투 엔드 훈련을 가능하게 한다.
• PAC-Bayes 이론을 활용해 이론적 일반화 경계를 유도한다.
• 최소한의 아키텍처 수정으로 회귀 및 분류 작업에 모두 적용 가능한 프레임워크이다.

실험 결과

연구 질문

• RQ1 감독형 딥러닝 모델에서 인과적 구조의 공동 학습이 일반화 성능 향상에 기여하는가?
• RQ2 모든 특성을 재구성하는 것보다 인과적으로 연결된 특성들만 재구성하는 것이 더 나은 정규화를 이끌어내는가?
• RQ3 다양한 데이터셋에서 드롭아웃, 가중치 감쇠, 오토인코더와 같은 표준 정규화 방법들과 비교해 CASTLE의 성능은 어떠한가?
• RQ4 고차원 입력, 증가하는 노이즈, 다양한 데이터셋 크기의 환경에서도 CASTLE는 안정적인가?
• RQ5 실세계 및 합성 데이터에서 인과적 구조 탐색이 안정적이고 효과적인 정규화 방법이 될 수 있는가?

주요 결과

• 모든 11개의 실세계 데이터셋에서 회귀 및 분류 작업 모두에서 CASTLE가 가장 낮은 테스트 오차를 기록했다.
• Pima Diabetes 데이터셋에서 CASTLE는 테스트 RMSE 0.246 ± 0.153을 달성하여 모든 벤치마크 방법들을 능가했다.
• Facebook Metrics 데이터셋의 분류 작업에서 CASTLE는 AUROC 0.817 ± 0.007을 기록하여 모든 방법 중 최고 성능을 보였다.
• 고차원 입력이나 상관관계가 없는 노이즈가 존재하는 상황에서도 성능 저하 없이 안정성을 유지함을 입증했다.
• 제거 실험을 통해 인과적 구조 탐색과 선택적 재구성이 성능 향상의 핵심 요인임을 확인했다.
• 모든 데이터셋에서 10겹 교차검증을 100회 수행한 결과, CASTLE는 100%의 경우에서 최상위 성능 정규화 방법이었으며, 일관된 2위 후보가 없었다.