[논문 리뷰] Distributionally Robust Local Non-parametric Conditional Estimation

Viêt Anh Nguyên, Fan Zhang외 3명|arXiv (Cornell University)|2020. 01. 01.

Advanced Statistical Methods and Models인용 수 6

한 줄 요약

이 논문은 워샤프스키 안의미집합 위에서 가장 악성인 조건부 기대 손실을 최소화하는 분포로 내성적인 국소 비모수적 추정기인 방법을 제안한다. 이는 데이터 오염과 이질성 하에서도 강건한 조건부 추정을 가능하게 한다. 이 방법은 낮은 표본 크기에서도 효율적으로 추정치를 계산할 수 있도록 볼록 최적화를 활용하며, 시뮬레이션 및 MNIST 데이터에서 뛰어난 성능을 보였다.

ABSTRACT

Conditional estimation given specific covariate values (i.e., local conditional estimation or functional estimation) is ubiquitously useful with applications in engineering, social and natural sciences. Existing data-driven non-parametric estimators mostly focus on structured homogeneous data (e.g., weakly independent and stationary data), thus they are sensitive to adversarial noise and may perform poorly under a low sample size. To alleviate these issues, we propose a new distributionally robust estimator that generates non-parametric local estimates by minimizing the worst-case conditional expected loss over all adversarial distributions in a Wasserstein ambiguity set. We show that despite being generally intractable, the local estimator can be efficiently found via convex optimization under broadly applicable settings, and it is robust to the corruption and heterogeneity of the data. Experiments with synthetic and MNIST datasets show the competitive performance of this new class of estimators.

연구 동기 및 목표

• 기존 비모수적 추정기의 악성 노이즈와 낮은 표본 크기 처리 능력의 한계를 해결한다.
• 이질적이고 비정상적인 데이터 환경에서 국소 조건부 추정의 신뢰성을 향상시킨다.
• 분포 이질성과 데이터 오염에 강건한 데이터 기반 추정기를 개발한다.
• 넓은 조건 하에서 볼록 최적화를 통해 강건한 국소 추정치를 효율적으로 계산할 수 있도록 한다.

제안 방법

• 국소 조건부 추정 문제를 확률 분포의 워샤프스키 안의미집합 위에서의 최대화 최소화 최적화 문제로 공식화한다.
• 악성 분포에 대비한 강건성을 확보하기 위해 가장 악성인 조건부 기대 손실을 최소화할 목적 함수로 정의한다.
• 일般 문제의 계산이 불가능하더라도 볼록 최적화 기법을 활용해 추정기를 효율적으로 계산한다.
• 학습 데이터의 경험적 분포를 중심으로 지정된 반경을 가진 워샤프스키 거리로 안의미집합을 구성한다.
• 추정기는 비모수적 형태를 유지하면서 특정 공변량 값에 국소적으로 적응한다.
• 이중성 이론을 활용해 약한 정규성 조건 하에서 강건 최적화 문제를 해석 가능한 형태로 변환한다.

실험 결과

연구 질문

• RQ1 낮은 표본 크기에서 악성 노이즈와 데이터 이질성에 강건한 비모수적 국소 추정기는 가능할 수 있는가?
• RQ2 최소한의 가정으로 워샤프스키 안의미집합을 활용해 분포로 내성적인 강건성을 국소 조건부 추정에 공식적으로 통합할 수 있는가?
• RQ3 실제로 얻어진 강건 최적화 문제를 해결하는 데 있어 계산 가능성이 있는가?
• RQ4 데이터 오염 하에서 제안된 추정기는 기존 비모수적 방법에 비해 정확도와 안정성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 추정기는 악성 노이즈 하에서 시뮬레이션 및 MNIST 데이터셋 모두에서 기존 비모수적 방법에 비해 뛰어난 성능을 보였다.
• 광범위하게 적용 가능한 조건 하에서 볼록 최적화를 통해 계산 효율성과 해석 가능성 유지가 가능했다.
• 강력한 모수적 가정이나 큰 표본 크기가 없이도 데이터 오염에 대한 강건성이 확보되었다.
• 이질적이고 비정상적인 데이터를 효과적으로 처리했으며, 낮은 표본 크기 환경에서 기준 방법보다 뛰어난 성능을 보였다.