[논문 리뷰] Preventing Failures Due to Dataset Shift: Learning Predictive Models That Transport

Adarsh Subbaswamy, Peter Schulam외 1명|arXiv (Cornell University)|2018. 12. 11.

Machine Learning in Healthcare인용 수 80

한 줄 요약

논문은 Graph Surgery를 통해 서로 다른 데이터 생성 메커니즘을 가진 환경 간에 전달되는 안정적 예측 모델을 학습하는 방법을 제시하며, 선택 변수와 함께 인과 DAG에서 식별된 Interventional distributions를 사용한다.

ABSTRACT

Classical supervised learning produces unreliable models when training and target distributions differ, with most existing solutions requiring samples from the target domain. We propose a proactive approach which learns a relationship in the training domain that will generalize to the target domain by incorporating prior knowledge of aspects of the data generating process that are expected to differ as expressed in a causal selection diagram. Specifically, we remove variables generated by unstable mechanisms from the joint factorization to yield the Surgery Estimator---an interventional distribution that is invariant to the differences across environments. We prove that the surgery estimator finds stable relationships in strictly more scenarios than previous approaches which only consider conditional relationships, and demonstrate this in simulated experiments. We also evaluate on real world data for which the true causal diagram is unknown, performing competitively against entirely data-driven approaches.

연구 동기 및 목표

• 학습 및 배포 환경이 데이터 생성 과정에서 다를 때 신뢰성을 높이고자 한다.
• 인과적 사전 지식을 활용해 운송 가능한 예측기를 구축하는 선제적 방법을 도입한다.
• 환경 간에 안정적인 interventional distribution을 산출하는 Graph Surgery 추정기를 개발한다.
• 추정기의 타당성(무결성)과 완전성을 증명하고 이를 그래프 가지치와 분포적 강건성과 연관지어 설명한다.

제안 방법

• 환경 변화 메커니즘을 모델링하기 위해 선택 다이어그램을 사용하고 가변 변수 M을 선택 노드 S의 자식으로 식별한다.
• ADMG에서 ID 알고리즘을 적용하여 타깃 T를 예측하는 interventional distributions를 식별한다.
• M(및 가능하면 T)에 개입하여 가능한 interventional distributions를 열거하고, 보류된 소스-환경 검증을 통해 식별 가능한 최적의 분포를 선택한다.
• 그래프 가지치가 그래프 수술의 특수한 경우임을 보여주고 수술이 환경 간 분포 강건성을 최적화함을 보여준다.
• 이론적 보장을 제공한다: 타당성(안정된 추정기)과 완전성(안정된 수술 추정기가 존재하는 경우의 존재성).
• 환경 분포 Γ 전반에 걸친 minimax 강건성과의 연결성을 제시한다.

실험 결과

연구 질문

• RQ1 타깃 도메인 데이터에 접근하지 않고도 환경에 따라 변화하는 메커니즘에 대해 예측 모델을 안정적으로 만들 수 있는가?
• RQ2 환경 간 선택 메커니즘이 다를 때 interventional distributions를 통한 가변 변수에 대한 개입이 안정적인 예측을 이루는가?
• RQ3 그래프 수술이 그래프 가지치 및 기타 반응적 도메인 적응 방법을 엄격하게 능가하는 시나리오는 어떤 경우인가?
• RQ4 데이터셋 시프트 하에서 그래프 수술은 분포적 강건성과 minimax 최적성과 어떤 관련이 있는가?

주요 결과

• 그래프 수술은 선택 메커니즘에 불변하는 안정적인 예측기를 산출하며 타깃 변수가 가변적인 타깃 시프트를 처리할 수 있다.
• 그래프 가지치는 그래프 수술의 특수한 경우이며, 수술은 가지치를 일반화하고 가지치기가 실패하는 경우에도 성공할 수 있다.
• 시뮬레이션에서 수술은 보이지 않는 환경 변화에 대해 OLS 및 인과 전이 학습(CT)과 같은 경쟁 방법보다 일반화한다.
• Bike Sharing 데이터에서 수술은 대안에 비해 경쟁력 있는 MSE를 보이며 여러 테스트 분할에서 최상을 기록; AR은 일부 설정에서 여전히 강하지만 고정 가정이 필요하다.
• 이론적 결과는 수술이 안정적인 interventional 예측기를 식별하는 데 타당하고 완전하며, 안정적이고 직접 운송 가능한 관계들 중에서 minimax 최적임을 보여준다.