[논문 리뷰] Accounting for Unobserved Confounding in Domain Generalization

Alexis Bellot, Mihaela van der Schaar|arXiv (Cornell University)|2020. 07. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 6

한 줄 요약

이 논문은 도메인 일반화에서 관측되지 않은 혼동요인을 고려하기 위해 오차 도함수의 부분적 불변성을 강제하는 분포로 불변하는 최적화 방법인 유도도 불변 리스크 최소화(DIRM)를 제안한다. DIRM은 ERM 및 IRM에 비해 일반화 성능과 특징 선택 안정성을 향상시키며, 특히 관측되지 않은 혼동요인이 존재할 경우에 뛰어난 성능을 보인다. 이는 영상, 음성, 표준형 입력을 포함한 다중모odal 의료 데이터에서 입증되었다.

ABSTRACT

This paper investigates the problem of learning robust, generalizable prediction models from a combination of multiple datasets and qualitative assumptions about the underlying data-generating model. Part of the challenge of learning robust models lies in the influence of unobserved confounders that void many of the invariances and principles of minimum error presently used for this problem. Our approach is to define a different invariance property of causal solutions in the presence of unobserved confounders which, through a relaxation of this invariance, can be connected with an explicit distributionally robust optimization problem over a set of affine combination of data distributions. Concretely, our objective takes the form of a standard loss, plus a regularization term that encourages partial equality of error derivatives with respect to model parameters. We demonstrate the empirical performance of our approach on healthcare data from different modalities, including image, speech and tabular data.

연구 동기 및 목표

• 관측되지 않은 혼동요인이 데이터 분포의 이동을 유도할 때 분포 외 일반화 문제를 해결하기 위해.
• 관측된 변수가 포괄하지 않는 분포 이동 상황에서도 성능을 유지할 수 있는 강건한 학습 목표를 개발하기 위해.
• 관측되지 않은 혼동요인을 고려하는 새로운 불변 원칙을 정식화하여 인과적 학습과 상관 기반 학습 간 격차를 메우기 위해.
• 의료 적용 분야에서 다양한 데이터 분포 간 특징 선택의 재현 가능성을 향상시키기 위해.
• 제안된 방법이 ERM, IRM, REx에 비해 다중모달 및 임상 데이터 환경에서 경험적으로 뛰어나다는 것을 입증하기 위해.

제안 방법

• 환경 간 모델 파라미터에 대한 오차 도함수의 부분 등가성 강제를 통해 혼동요인에 대한 불변성의 완화를 제안한다.
• 기본 손실과 도함수 불변성을 촉진하는 정규화 항을 조합한 분포로 불변하는 최적화 목표를 유도한다.
• 불확실성 집합을 학습 데이터 분포의 애핀 조합으로 정의하여 관측된 및 관측되지 않은 변수의 이동에 대한 강건성을 확보한다.
• 하이퍼파ram터 λ를 통해 인과적 해(λ→∞)와 일반 최소 제곱법(λ=0) 사이를 보간함으로써 적응형 강건성을 가능하게 한다.
• 실제 의료 데이터셋을 사용하여 다중모달 데이터(영상, 음성, 표준형) 및 생존 예측에 이 방법을 적용한다.
• 특징 선택 안정성 분석을 위해 단일층 신경망을 사용하며, 100번의 랜덤 데이터 분할에서 상위 특징의 일관성을 평가한다.

실험 결과

연구 질문

• RQ1 관측되지 않은 혼동요인이 조건부 분포 P(Y|X)의 이동을 유도할 때, 어떻게 분포 외 일반화를 달성할 수 있는가?
• RQ2 혼동요인이 관측되지 않을 경우 어떤 불변 성질을 강제할 수 있으며, 이는 기존의 불변 리스크 최소화(IRM)에서의 표준 불변과 어떻게 다를까?
• RQ3 오차 도함수 불변성에 기반한 정규화가 ERM 및 IRM에 비해 일반화 성능과 특징 선택 안정성 향상에 기여하는가?
• RQ4 특히 연령과 같은 핵심 예측변수를 생략했을 때, 제안된 방법은 실제 의료 데이터의 분포 이동 상황에서 어떻게 성능을 발휘하는가?
• RQ5 다양한 데이터 분포 간에 특징 선택이 얼마나 일관되게 유지되는가?

주요 결과

• DIRM은 ERM, IRM, REx에 비해 다중모달 의료 데이터에서 일반화 성능을 크게 향상시키며, 특히 허위 상관관계나 관측되지 않은 혼동요인이 존재할 경우 뛰어난 성능을 보인다.
• 음성 인식 작업에서는 DIRM이 녹음 유형 간 허위 차이를 수정함으로써 오류율을 감소시켜 ERM 및 IRM을 능가한다.
• 심부전 데이터를 활용한 생존 예측에서 DIRM은 연령을 예측변수로 포함하지 않아도 최신 기술 수준의 성능을 달성하여 관측되지 않은 혼동요인에 대한 강건성을 입증한다.
• 100번의 실험 중 80번에서 상위 10개의 영향력 있는 특징을 복원했으며, ERM는 단지 4개에 그쳤다. 이는 DIRM의 특징 선택 재현 가능성 향상이 뚜렷하다는 것을 보여준다.
• λ ∈ [0,1] 범위에서 환경 간 특징 선택이 안정적으로 유지됨을 확인하여, 학습 분포의 애핀 조합 하에서 이론적 안정성이 입증되었다.
• 이론적 보장은 학습 분포의 애핀 폐쇄 내 이동에 국한되어 있어, 예측 불가능하고 극단적인 분포 이동 상황에서는 주의가 필요하다는 점을 시사한다.