[논문 리뷰] Class Prior Estimation under Covariate Shift: No Problem?

Dirk Tasche|arXiv (Cornell University)|2022. 06. 06.

Advanced Statistical Methods and Models인용 수 5

한 줄 요약

이 논문은 클래스 조건부 확률이 소스 및 타겟 분포 간에 불변인 공변량 이동(covariate shift)이 특성 간소화 또는 변환에 취약하다는 것을 보여준다: 특성의 단순화 또는 변환은 이동 성질을 파괴할 수 있으며, 이는 '분류하고 세는'과 같은 간단한 클래스 사전 확률 추정 방법을 무효화한다. 주요 기여는 공변량 이동을 유지하는 유일한 조건이 통계적 의미에서 충분 통계량(sufficient statistics)임을 증명한 것으로, 이러한 조건 하에서 신뢰할 수 있는 추정을 위해 고급 방법(예: 프로빙(probing))이 필요하다는 점을 밝혀낸다.

ABSTRACT

We show that in the context of classification the property of source and target distributions to be related by covariate shift may be lost if the information content captured in the covariates is reduced, for instance by dropping components or mapping into a lower-dimensional or finite space. As a consequence, under covariate shift simple approaches to class prior estimation in the style of classify and count with or without adjustment are infeasible. We prove that transformations of the covariates that preserve the covariate shift property are necessarily sufficient in the statistical sense for the full set of covariates. A probing algorithm as alternative approach to class prior estimation under covariate shift is proposed.

연구 동기 및 목표

• 차원 감소 또는 특성 변환 하에서 공변량 이동의 강건성(robustness)을 조사하는 것.
• 공변량이 단순화되거나 낮은 차원 공간으로 사상될 때 공변량 이동 성질이 유지되는 조건을 규명하는 것.
• 공변량 이동 조건 하에서 간단한 클래스 사전 확률 추정 방법(예: '분류하고 세는')의 실현 가능성에 도전하는 것.
• 공변량 이동이 유지될 경우 일관된 클래스 사전 확률 추정을 위한 대안 방법인 '프로빙'을 제안하고 정당화하는 것.
• 통계적 충분성 측면에서 사전 확률 이동과 공변량 이동 사이의 이론적 경계를 명확히 하는 것.

제안 방법

• 이산 및 연속 공변량을 엄밀하게 다룰 수 있도록 측도 이론적 프레임워크에서 문제를 수리적으로 정의하는 것.
• 소스 및 타겟 분포 간의 사후 클래스 확률 불변성으로써 공변량 이동을 정의하는 것.
• 소스 분포 하에서 원래 공변량에 대해 충분 통계량이면, 변환된 공변량 집합이 공변량 이동을 유지함을 증명하는 것.
• 다양한 임계값 범위에서 훈련된 다수의 비용 감도 분류기들을 활용하는 프로빙 기반의 클래스 사전 확률 추정 방법을 제안하는 것.
• 임계값을 기준으로 분류기 출력의 평균을 취해 가중합을 통해 타겟 클래스 사전 확률을 추정하는 것.
• 최종 추정 이전에 타겟 분포에서의 분류기 성능을 반복적으로 향상시키기 위한 개선 단계를 적용하는 것.

실험 결과

연구 질문

• RQ1 공변량 집합이 감소하거나 변환될 때 공변량 이동 성질이 유지되는 조건은 무엇인가?
• RQ2 '분류하고 세는'과 같은 단순한 클래스 사전 확률 추정 방법이 공변량 이동 조건 하에서 실패하는 이유는 무엇인가, 사전 확률 이동 조건에서는 성공하는가?
• RQ3 변환된 공변량 집합이 공변량 이동 성질을 유지하기 위한 수학적 조건은 무엇인가?
• RQ4 간단한 방법이 실패할 경우, 프로빙이 공변량 이동 조건 하에서 일관된 클래스 사전 확률 추정을 제공할 수 있는가?
• RQ5 특성 변환 하에서 사전 확률 이동과 공변량 이동의 강건성에 근본적인 차이가 존재하는가?

주요 결과

• 공변량 이동은 공변량의 임의의 변환에 대해 유지되지 않으며, 유일하게 통계적 의미에서의 충분 통계량만 사후 클래스 확률의 불변성을 유지한다.
• 공변량 이동을 변환 하에 유지하기 위한 필수 및 필요 조건은, 새로운 공변량 집합이 소스 분포 하에서 원래 공변량에 대해 충분 통계량이어야 한다는 것이다.
• 사전 확률 이동과 달리, 공변량 이동은 특성 감소에 취약하며, 구성 요소를 제거하거나 낮은 차원으로 사상하는 것으로도 파괴될 수 있다.
• 사전 확률 이동 조건에서는 효과적인 혼동 행렬 방법 또는 '조정된 카운팅' 접근법이 실패한다. 이는 사후 확률 불변성의 손실 때문이며, 공변량 이동 조건 하에서는 성립하지 않는다.
• 비용 감도 분류기의 앙상블을 다양한 임계값에서 훈련하고 평균 출력을 활용하는 프로빙 방법은 공변량 이동 조건 하에서 일관된 클래스 사전 확률 추정을 위한 타당한 대안을 제공한다.
• 이론적 분석을 통해 르베그 밀도를 가진 연속 공변량에 대해 4개 이하의 원소를 가진 부분 시그마 대수(sub-σ-algebra)는 충분 통계량이 될 수 없음을 입증하였으며, 이러한 경우 단순 추정기의 사용을 배제한다.