[논문 리뷰] Stable Prediction with Model Misspecification and Agnostic Distribution Shift

Kun Kuang, Ruoxuan Xiong외 3명|arXiv (Cornell University)|2020. 01. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 16인용 수 5

한 줄 요약

이 논문은 모델 오Specification 및 무지식한 분포 이탈 상황에서 파rameter 추정 정확도와 예측 안정성을 향상시키기 위해 변수 간 상관관계를 줄이고 가중 회귀를 동시에 최적화하는 새로운 알고리즘인 Decorrelated Weighting Regression(DWR)을 제안한다. DWR는 훈련 데이터를 재가중하여 특징 간 상관관계를 줄임으로써 다양한 테스트 환경에서 뛰어난 안정성을 확보하며, 분포 이탈이 클 경우 인공 및 실세계의 대기질 예측 과제에서 기존 방법들을 크게 앞서나간다.

ABSTRACT

For many machine learning algorithms, two main assumptions are required to guarantee performance. One is that the test data are drawn from the same distribution as the training data, and the other is that the model is correctly specified. In real applications, however, we often have little prior knowledge on the test data and on the underlying true model. Under model misspecification, agnostic distribution shift between training and test data leads to inaccuracy of parameter estimation and instability of prediction across unknown test data. To address these problems, we propose a novel Decorrelated Weighting Regression (DWR) algorithm which jointly optimizes a variable decorrelation regularizer and a weighted regression model. The variable decorrelation regularizer estimates a weight for each sample such that variables are decorrelated on the weighted training data. Then, these weights are used in the weighted regression to improve the accuracy of estimation on the effect of each variable, thus help to improve the stability of prediction across unknown test data. Extensive experiments clearly demonstrate that our DWR algorithm can significantly improve the accuracy of parameter estimation and stability of prediction with model misspecification and agnostic distribution shift.

연구 동기 및 목표

• 훈련 및 테스트 데이터의 분포가 다를 때 발생하는 예측의 불안정성 문제를 해결한다.
• 테스트 데이터에 대한 사전 지식 없이도 알려지지 않은 테스트 환경에서 안정적인 파rameter 추정 및 예측 성능을 보장하는 방법을 개발한다.
• 결과에 인과적으로 관련된 안정적인 특징과 관련이 없지만 환경에 따라 상관관계가 변하는 불안정한 특징이 공존하는 경우를 다룬다.
• 분포 이탈에 의해 유도된 잘못된 상관관계를 제거하기 위해 상관관계 감소와 회귀를 동시에 최적화하는 통합 프레임워크를 제안한다.
• 의료나 환경 과학과 같이 지역 또는 기관 간 데이터 분포가 변하는 실세계 환경에서 신뢰할 수 있는 예측을 가능하게 한다.

제안 방법

• 특징 간 상관관계를 줄이기 위해 샘플 가중치를 추정하는 변수 상관관계 감소 정규화 항을 도입한다.
• 추정된 가중치를 가중 회귀 모델에 적용하여 각 특징의 진짜 영향력을 개선하고, 생략된 비선형 또는 상호작용 항의 편향을 줄인다.
• 두 단계 학습 절차를 통해 상관관계 감소 정규화 항과 가중 회귀 목표를 동시에 최적화한다.
• 가중 훈련 데이터 세트에서 예측 오차를 최소화하면서 예측 변수 간 상관관계를 강제로 줄이는 최적화 문제를 수립한다.
• 통제된 분포 이탈이 있는 인공 데이터와 10개 미국 주에서 확보한 실세계 대기질 데이터에 대해 방법을 적용하여 안정성 평가를 수행한다.
• 훈련 및 테스트 환경 간의 분포 이탈 정도를 측정하기 위해 분포 거리(공분산의 평균 차이)를 지표로 사용한다.

실험 결과

연구 질문

• RQ1 모델 오Specification과 분포 이탈이 동시에 존재하는 상황에서, 모델이 알려지지 않은 테스트 환경에서도 안정적인 예측을 달성할 수 있는가?
• RQ2 제안된 DWR 방법은 알 수 없는 분포 이탈과 모델 오Specification 하에서 파rameter 추정 정확도를 어떻게 향상시키는가?
• RQ3 다양한 데이터 분포에서 예측 안정성 측면에서 DWR이 OLS 및 Lasso와 같은 표준 기준 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 하이퍼파rameter λ₂의 선택은 DWR에서 추정 정확도와 안정성 간의 트레이드오프에 어떻게 영향을 미치는가?
• RQ5 분포 이탈이 클 경우, DWR은 소폭의 성능 저하가 있는 작은 이탈 상황과는 달리 여전히 뛰어난 성능을 유지하는가?

주요 결과

• DWR는 분포 이탈이 클 경우, 특히 알려지지 않은 테스트 환경에서 예측 안정성이 크게 향상되어 OLS 및 Lasso보다 안정성 오차 지표에서 뛰어난 성능을 보였다.
• 10개 미국 주에서 확보한 실세계 대기질 데이터에서는 훈련 및 테스트 세트 간 분포 거리가 증가할수록 DWR의 성능이 기준 방법들을 능가했다.
• 분포 거리가 작을 경우 DWR의 성능은 약간 기준 방법보다 열 劣한 편이지만, 분포 이탈이 증가함에 따라 급격히 향상되었다.
• DWR의 평균 오차는 모든 테스트 주에서 일관되게 낮게 유지되어 다양한 분포 하에서도 강인한 추정 정확도를 보였다.
• DWR의 안정성 오차는 모든 기준 방법보다 일관되게 낮게 유지되어 환경 간 불안정한 상관관계를 효과적으로 다루는 데에 성공했다.
• 최적의 하이퍼파rameter λ₂는 10 이하에 위치하며, λ₂ > 10일 경우 성능이 약간 저하됨으로써 정규화 강도에 명확한 트레이드오프가 있음을 시사했다.