[논문 리뷰] Robust Hypothesis Testing Using Wasserstein Uncertainty Sets

Rui Gao, Liyan Xie외 2명|arXiv (Cornell University)|2018. 05. 01.

Adversarial Robustness in Machine Learning인용 수 23

한 줄 요약

이 논문은 경험 분포를 중심으로 한 워샤르스타인 불확실성 집합을 사용하여 데이터 기반의 강건한 가설 검정 프레임워크를 제안한다. 이는 분포 자유성과 계산 효율성을 동시에 확보하며, 볼록 근사와 차원에 독립적인 타당한 재구성 덕분에 거의 최적의 성능을 달성한다. 인간 활동 인식 데이터를 활용한 실증 결과를 통해 검증되었다.

ABSTRACT

We develop a novel computationally efficient and general framework for robust hypothesis testing. The new framework features a new way to construct uncertainty sets under the null and the alternative distributions, which are sets centered around the empirical distribution defined via Wasserstein metric, thus our approach is data-driven and free of distributional assumptions. We develop a convex safe approximation of the minimax formulation and show that such approximation renders a nearly-optimal detector among the family of all possible tests. By exploiting the structure of the least favorable distribution, we also develop a tractable reformulation of such approximation, with complexity independent of the dimension of observation space and can be nearly sample-size-independent in general. Real-data example using human activity data demonstrated the excellent performance of the new robust detector.

연구 동기 및 목표

• 모델 불확실성 하에서 비모수적 분포 가정에 의존하지 않고 강건한 가설 검정 문제를 해결한다.
• 진정한 분포가 명목 모델에서 벗어나도 효과적으로 작동하는 계산 효율적인 방법을 개발한다.
• 경험 분포를 중심으로 워샤르스타인 거리로 불확실성 집합을 구성하여 데이터 기반의 적응성을 확보한다.
• 볼록 안전 근사 기법을 통해 최소최대 공식을 해결하여 거의 최적의 검출 성능를 달성한다.
• 관측 공간 차원에 영향을 받지 않는 계산과 거의 표본 크기 의존성 없이 확장 가능한 성능을 확보한다.

제안 방법

• 영가설과 대립가설 하에서 가능한 분포들의 강건한 이웃을 형성하기 위해 경험 분포를 중심으로 워샤르스타인 거리로 불확실성 집합을 정의한다.
• 분포의 모호성 하에서도 최악의 상황에서의 검정력 최대화를 위해 최소최대 문제로 공식화한다.
• 최소최대 공식에 볼록 안전 근사를 적용하여 계산 가능성을 유지하면서 거의 최적의 성능를 확보한다.
• 가장 불리한 분포의 구조를 활용하여 관측 공간 차원에 영향을 받지 않는 타당한 재구성을 도출한다.
• 계산 복잡도가 거의 표본 크기의 영향을 받지 않도록 보장하여 대규모 데이터셋에 대한 확장성을 확보한다.
• 이중성과 최적화 기법을 활용하여 강건한 검출 문제를 해석 가능한 볼록 프로그램으로 변환한다.

실험 결과

연구 질문

• RQ1 어떻게 강건한 가설 검정을 계산 효율적이면서도 비모수적 분포 가정 없이 구현할 수 있는가?
• RQ2 워샤르스타인 기반의 불확실성 집합은 계산 가능성을 유지하면서도 검출의 강건성을 향상시킬 수 있는가?
• RQ3 모델 오류가 발생할 경우 제안된 강건 검출기와 최적의 검정 간의 성능 격차는 어느 정도인가?
• RQ4 계산 복잡도를 관측 공간의 차원에서 얼마나 잘 분리시킬 수 있는가?
• RQ5 인간 활동 인식과 같은 실제 고차원 데이터에서 제안된 방법은 어떤 성능을 보이는가?

주요 결과

• 제안된 프레임워크는 최악의 분포 편차 상황에서도 모든 가능한 검정 중 거의 최적의 검출 성능를 달성한다.
• 최소최대 공식의 볼록 안전 근사는 계산 효율성을 보장하면서도 강력한 이론적 보장을 유지한다.
• 근사의 타당한 재구성은 관측 공간 차원에 영향을 받지 않는 복잡도를 보인다.
• 방법은 거의 표본 크기 의존성을 보이며, 대규모 데이터셋에 대한 확장성이 뛰어나다.
• 인간 활동 인식 데이터에 대한 실증 평가를 통해 실제 환경에서 강건 검출기의 뛰어난 성능를 확인하였다.
• 워샤르스타인 불확실성 집합의 사용은 기본 분포에 대한 사전 가정이 없이도 데이터 기반의 강건성을 가능하게 한다.