[논문 리뷰] Causally motivated Shortcut Removal Using Auxiliary Labels

Maggie Makar, Ben Packer외 4명|arXiv (Cornell University)|2021. 05. 13.

Bayesian Modeling and Causal Inference참고 문헌 44인용 수 8

한 줄 요약

이 논문은 훈련 중 보조 레이블을 활용하여 인과도 그래프에서 조건부 독립을 강제함으로써 기계학습에서 단기적 학습을 완화하기 위한 인과적 동기를 가진 방법을 제안한다. 분포 가중치와 불변성 정규화를 조합함으로써, 분포 이탈 상황에서도 우수한 강건성과 일반화 성능을 달성하며, 표준 정규화 및 기존 방법들인 IRM와 Rex보다 이론적·실제로 모두 뛰어나다.

ABSTRACT

Shortcut learning, in which models make use of easy-to-represent but unstable associations, is a major failure mode for robust machine learning. We study a flexible, causally-motivated approach to training robust predictors by discouraging the use of specific shortcuts, focusing on a common setting where a robust predictor could achieve optimal \emph{iid} generalization in principle, but is overshadowed by a shortcut predictor in practice. Our approach uses auxiliary labels, typically available at training time, to enforce conditional independences implied by the causal graph. We show both theoretically and empirically that causally-motivated regularization schemes (a) lead to more robust estimators that generalize well under distribution shift, and (b) have better finite sample efficiency compared to usual regularization schemes, even when no shortcut is present. Our analysis highlights important theoretical properties of training techniques commonly used in the causal inference, fairness, and disentanglement literatures. Our code is available at https://github.com/mymakar/causally_motivated_shortcut_removal

연구 동기 및 목표

• 분포 이탈 상황에서 편향된 상관관계에 의존하는 모델들(즉, 불변 예측자 대신 편향된 상관관계에 의존하는 모델들)의 단기적 학습 문제를 해결하기 위해.
• 훈련 시에만 이용 가능한 보조 레이블을 활용하여 예측의 불변성을 강제함으로써 일반화 성능을 향상시키는 방법을 개발하기 위해.
• 유한 표본 효율성과 강건성을 향상시키기 위해 이론적으로 탄탄한, 인과적 동기를 가진 정규화 체계를 제공하기 위해.
• 인과 가중치와 불변성 제약을 조합함으로써 IRM나 Rex와 같은 기존 접근법보다 더 나은 성능을 내는지 확인하기 위해.

제안 방법

• 주 레이블 Y와 보조 레이블 V가 입력 X를 생성하는 인과 DAG를 사용하며, Y가 X에 영향을 미치는 것은 유일한 통계량 X*를 통해 이루어진다.
• 역확률 가중치를 적용하여 훈련 데이터를 재가중함으로써, V와 Y 사이의 편향된 상관관계가 끊어진 타겟 분포를 모방한다.
• 다양한 V 그룹의 표현 간 최대 평균 차이(MMD)를 통해 불변성 펜alties를 강제하여, 모델의 예측이 V에 대해 불변하도록 보장한다.
• 표준 교차 엔트로피와 MMD 기반 불변성 제약을 조합한 정규화된 위험을 최소화하도록 최종 모델을 훈련한다.
• 이 방법은 단일 타겟 도메인을 넘어서 다양한 분포 이탈 상황에 대해 강건하도록 설계되어 있다.
• 범주형 V의 경우, MMD 펜alty는 쌍별 비교로 확장하거나 높은 카디널리티에 대해 HSIC로 대체할 수 있다.

실험 결과

연구 질문

• RQ1 보조 레이블을 사용하여, 관련 없는 요소와의 편향된 상관관계로 인한 분포 이탈에 대해 불변인 모델을 훈련시킬 수 있는가?
• RQ2 인과 가중치와 불변성 정규화를 조합하면, 표준 정규화에 비해 유한 표본 효율성과 강건성에서 어떻게 향상되는가?
• RQ3 인과적 동기를 가진 접근법이 인라인 및 아웃오브라인 일반화 모두에서 IRM 및 Rex와 같은 기존 방법들을 능가하는가?
• RQ4 가정된 인과 구조 하에서 제안된 방법이 어떤 이론적 보장을 제공하는가?
• RQ5 반-시뮬레이션 벤치마크와 실제 의료 과제에서의 경험적 성능은 어떠한가?

주요 결과

• 제안된 방법은 특히 유한 표본 설정에서 분포 이탈 상황에서 표준 정규화 기법보다 낮은 일반화 오차를 달성한다.
• 반-시뮬레이션 벤치마크와 실제 의료 영상 분류 과제에서 뛰어난 아웃오브라인 일반화 성능을 보여준다.
• 경험적 결과는 단기적 학습이 존재할 경우 IRM 및 Rex를 뛰어넘는 성능을 보임을 시사한다.
• 이론적 분석은 불변성 제약이 수직 방향을 정규화함으로써 모델 복잡도를 감소시켜 효율성을 향상시킨다는 것을 보여준다.
• 단기적 학습이 존재하지 않을 경우에도 방법이 강건함을 보이며, 단지 단기적 학습 완화를 넘어서 보다 광범위한 활용 가능성을 시사한다.
• 가중치와 불변성 정규화의 조합은 각각의 기술보다 더 효과적이며, 이는 접근법 내의 상호보완적 상호작용을 강조한다.