[논문 리뷰] Maximum Mean Discrepancy for Generalization in the Presence of Distribution and Missingness Shift

Liwen Ouyang, Aaron Key|arXiv (Cornell University)|2021. 11. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 6

한 줄 요약

이 논문은 입력 공간, 표현 공간, 또는 둘 다에서 훈련 데이터 및 테스트 데이터 분포를 정렬함으로써 공변량 이탈과 누락 이탈 하에서 모델 일반화를 향상시키기 위해 최대 평균 차이(MMD)를 사용하는 것을 제안한다. MMD 표현, MMD 마스크, MMD 하이브리드 방법은 합성 데이터 및 실세계 데이터 모두에서 모델 성능, 캘리브레이션, 특성 누락에 대한 강건성 향상에 기여한다. 특히 테스트 데이터에서 높은 누락 비율이 존재하는 경우에 두드러진 성능 향상을 보인다.

ABSTRACT

Covariate shifts are a common problem in predictive modeling on real-world problems. This paper proposes addressing the covariate shift problem by minimizing Maximum Mean Discrepancy (MMD) statistics between the training and test sets in either feature input space, feature representation space, or both. We designed three techniques that we call MMD Representation, MMD Mask, and MMD Hybrid to deal with the scenarios where only a distribution shift exists, only a missingness shift exists, or both types of shift exist, respectively. We find that integrating an MMD loss component helps models use the best features for generalization and avoid dangerous extrapolation as much as possible for each test sample. Models treated with this MMD approach show better performance, calibration, and extrapolation on the test set.

연구 동기 및 목표

• 훈련 데이터와 테스트 데이터 분포가 다를 때 기계학습 모델의 공변량 이탈과 누락 이탈 문제를 해결하기 위해.
• 입력 공간과 표현 공간에서 훈련 및 테스트 데이터 분포 간의 MMD를 최소화하여 모델 일반화를 향상시키기 위해.
• 특히 테스트 데이터에서 높은 특성 누락 비율이 존재하는 경우에 훈련 및 테스트 세트 간의 누락 패턴을 정렬하는 새로운 MMD 마스커 모델을 개발하기 위해.
• MMD 기반 분포 정렬과 누락 패턴 정렬을 융합하여 하이브리드 모델을 구성함으로써 우수한 성능을 달성하기 위해.
• MMD 기반 훈련이 분포 외부 테스트 세트에서 위험한 외삽을 줄이고 캘리브레이션 및 강건성을 향상시킨다는 것을 입증하기 위해.

제안 방법

• MMD 표현을 제안: 혼합 커널을 사용하여 입력 공간에서의 특성 표현 간의 MMD를 최소화함으로써 임베딩 공간에서의 분포 정렬을 수행한다.
• MMD 마스크를 도입: 훈련 및 테스트 세트 간의 입력 특성과 누락 지표의 결합 분포를 정렬하기 위해 MMD를 사용하여 마스커 모델을 훈련시킨다. 특히 누락 이탈을 대상으로 한다.
• MMD 하이브리드를 개발: 입력 공간과 표현 공간 양쪽에서 MMD 매칭을 결합하여 분포 이탈과 누락 이탈을 동시에 해결한다.
• 신경망 프레임워크를 사용하여 MMD 손실를 주 예측 손실과 함께 엔드 투 엔드 최적화함으로써 분포 및 누락 정렬을 공동으로 수행한다.
• 이중 단계 훈련 프로세스를 적용: 먼저 마스킹된 특성을 가진 레이블이 있는 데이터로 MMD 마스커를 훈련한 후, MMD 마스커에서 생성된 마스킹된 데이터로 최종 모델을 피지테이닝한다.
• 복잡한 분포 차이를 포착하고 정렬 강건성을 향상시키기 위해 혼합 커널 MMD를 적용한다.

실험 결과

연구 질문

• RQ1 특성 표현 공간에서 MMD 기반 분포 정렬이 공변량 이탈 하에서 모델 일반화를 향상시키는가?
• RQ2 전용 MMD 마스커 모델이 훈련 및 테스트 세트 간의 누락 패턴을 효과적으로 정렬하여 누락 이탈을 완화하는가?
• RQ3 입력 공간과 표현 공간 양쪽에서 MMD 정렬을 조합하면 단독으로 사용할 경우보다 더 나은 성능을 내는가?
• RQ4 MMD 마스커는 단순 무작위 또는 히우리스틱 마스킹 전략에 비해 모델의 강건성과 성능에서 어떻게 비교되는가?
• RQ5 MMD 기반 훈련이 분포 외부 테스트 세트에서 위험한 외삽을 얼마나 줄이고 캘리브레이션 및 강건성을 얼마나 향상시키는가?

주요 결과

• MMD 모델은 마스크 전이 테스트 세트에서 단순 모델을 압도적으로 앞서며, 탄소 배출 추정에서 큰 성능 향상을 보였다.
• MMD 및 단순 마스크로 마스킹된 데이터에서 MMD 모델은 항상 단순 모델을 앞서며, 특히 MMD 마스크를 사용할 경우 성능 향상이 더 크다.
• 특성 집합 전체가 누락된 경우(예: ESG 데이터), MMD 모델은 마스킹되지 않은 데이터 수준에 가까운 성능을 유지하지만, 단순 모델은 성능이 크게 떨어진다.
• 실제 테스트 세트의 실세계 누락 패턴과 더 잘 정렬되어 있음을 고려할 때, MMD 마스커는 단순 마스킹보다 더 현실적인 누락 패턴을 포착한다.
• MMD 모델은 특히 높은 누락 비율이 존재하는 상황에서 뛰어난 캘리브레이션과 강건성을 보이며, 위험한 외삽이 감소했음을 시사한다.
• 입력 공간과 표현 공간 정렬을 융합한 하이브리드 MMD 접근 방식이 모든 테스트 시나리오에서 가장 우수한 종합 성능을 보였다.