[논문 리뷰] Robust Hypothesis Testing with Wasserstein Uncertainty Sets

Liyan Xie, Rui Gao외 1명|arXiv (Cornell University)|2021. 05. 29.

Advanced Statistical Process Monitoring인용 수 6

한 줄 요약

이 논문은 통계적 검정에서 표본 수가 제한된 상황을 다루기 위해 워샤르슈타인 불확실성 집합을 사용하는 강건한 비모수적 가설 검정을 제안한다. 분포로 인한 최적화와 강력한 이중성 원리를 활용하여, 무한차원의 최소최대 문제를 해석 가능한 볼록 최적화 문제로 재구성함으로써, 최악의 경우 분포를 식별하고, 표본 분포가 희소하거나 지지역간 불일치가 발생하더라도 계산적으로 효율적이고 통계적으로 신뢰할 수 있는 검정을 가능하게 한다.

ABSTRACT

We consider a data-driven robust hypothesis test where the optimal test will minimize the worst-case performance regarding distributions that are close to the empirical distributions with respect to the Wasserstein distance. This leads to a new non-parametric hypothesis testing framework based on distributionally robust optimization, which is more robust when there are limited samples for one or both hypotheses. Such a scenario often arises from applications such as health care, online change-point detection, and anomaly detection. We study the computational and statistical properties of the proposed test by presenting a tractable convex reformulation of the original infinite-dimensional variational problem exploiting Wasserstein's properties and characterizing the radii selection for the uncertainty sets. We also demonstrate the good performance of our method on synthetic and real data.

연구 동기 및 목표

• 학습 표본이 하나 이상의 가설에 대해 제한될 경우 발생하는 신뢰할 수 없는 가설 검정 문제를 해결한다.
• 고차원 또는 희소한 데이터 환경에서 기존의 GLRT나 밀도 비율 추정과 같은 방법의 한계를 극복한다.
• 실제 분포가 비영확률 영역에서 지지대를 가지지 않는 경우에도 효과적인 비모수적이고 분포로 인한 최적화 프레임워크를 개발한다.
• 무한차원 최소최대 문제를 해석 가능한 볼록 최적화 문제로 재구성함으로써 강건한 검정의 계산 가능성 확보.
• 강건성과 통계적 검정력 사이의 균형을 이루기 위해 최적의 불확실성 집합 반경을 특성화한다.

제안 방법

• 실제 분포를 중심으로 한 워샤르슈타인 거리 공역을 불확실성 집합으로 정의하는 분포로 인한 최적화 문제를 설정한다.
• 강력한 이중성을 활용하여 최소최대 문제를 두 개의 하위문제로 분리한다: 고정된 분포에 대한 최적의 검정을 찾고, 그 다음에 최악의 경우 분포(LFD)를 식별한다.
• 칸토로비치 이중성을 적용하여 워샤르슈타인 모호성 집합을 유한차원 볼록 최적화 문제로 재구성한다.
• 이중형식에서 유도된 LFD 기반으로 최적의 검정을 구성함으로써 분포 이동에 대한 강건성을 확보한다.
• 다중 표본에서의 검정 통계량을 집계함으로써 배치 검정으로의 확장을 도모한다.
• 최적 운반 이론의 渐近 분석에서 유도된 이론적 경계를 활용하여 워샤르슈타인 불확실성 집합의 최적 반경을 특성화한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 하나 이상의 가설에 대해 표본 수가 적은 경우에도 효과적인 강건한 가설 검정을 설계할 수 있는가?
• RQ2 KL 발산과 총변화 거리의 한계를 피하기 위해 서로 다른 지지대를 가진 분포를 허용하는 워샤르슈타인 거리 기반 불확실성 집합을 구성할 수 있는가?
• RQ3 강건한 최소최대 가설 검정을 해결하는 데 필요한 계산 복잡도는 무엇이며, 이를 해석 가능한 볼록 프로그래밍으로 줄일 수 있는가?
• RQ4 강건성과 통계적 검정력 사이의 균형을 고려할 때 워샤르슈타인 불확실성 집합의 반경은 어떻게 선택해야 하는가?
• RQ5 표본 수가 증가함에 따라 검정 통계량의 渐近 행동은 어떠한가? 기존의 검정과 비교해보면 어떻게 되는가?

주요 결과

• 강력한 이중성과 칸토로비치 이중성을 활용하여 원래의 무한차원 최소최대 문제를 해석 가능한 볼록 최적화 문제로 재구성하였다.
• 최악의 경우 분포(LFD)는 유한차원 볼록 최적화 문제를 통해 계산 가능하여 실용적 구현이 가능하다.
• 특히 실제 분포가 희소하거나 지지대가 불일치하는 경우, 기존의 고전적 검정보다 본 방법이 더 뛰어난 성능을 보였다.
• 강건성을 확보하면서도 통계적 검정력을 유지하기 위해 워샤르슈타인 불확실성 집합의 반경을 이론적으로 특성화할 수 있었다.
• 합성 및 실질 데이터에 대한 실험 결과는 이 방법이 이상치 탐지 및 변화점 탐지 과제에서 뛰어난 성능을 보임을 입증하였다.
• 渐近 분석 결과, 포isson 프로세스 쌍용 논리적 접근을 통해 약법의 큰 수의 법칙에서 유도된 검정 통계량의 수렴성이 확인되었다.