[논문 리뷰] When OT meets MoM: Robust estimation of Wasserstein Distance

Guillaume Staerman, Pierre Laforgue외 2명|arXiv (Cornell University)|2020. 06. 18.

Anomaly Detection Techniques and Applications참고 문헌 45인용 수 16

한 줄 요약

이 논문은 외곽값에 의한 데이터 오염 상황에서 강건한 워샤르스타인 거리 추정기를 제안한다. 메디안 오브 메디안(MoM) 프레임워크를 활용하여, 칸토로비치-루빈슈타인 이중성과 MoM 기반 U-통계량을 접목함으로써, 비점근적 경계를 갖는 일致한 추정기를 도입하고, WGAN의 강건화에 효과를 보이며, 오염된 CIFAR10 및 패션 MNIST 벤치마크에서 낮은 FID 스코어를 달성한다.

ABSTRACT

Issued from Optimal Transport, the Wasserstein distance has gained importance in Machine Learning due to its appealing geometrical properties and the increasing availability of efficient approximations. In this work, we consider the problem of estimating the Wasserstein distance between two probability distributions when observations are polluted by outliers. To that end, we investigate how to leverage Medians of Means (MoM) estimators to robustify the estimation of Wasserstein distance. Exploiting the dual Kantorovitch formulation of Wasserstein distance, we introduce and discuss novel MoM-based robust estimators whose consistency is studied under a data contamination model and for which convergence rates are provided. These MoM estimators enable to make Wasserstein Generative Adversarial Network (WGAN) robust to outliers, as witnessed by an empirical study on two benchmarks CIFAR10 and Fashion MNIST. Eventually, we discuss how to combine MoM with the entropy-regularized approximation of the Wasserstein distance and propose a simple MoM-based re-weighting scheme that could be used in conjunction with the Sinkhorn algorithm.

연구 동기 및 목표

• 실제 기계학습 환경에서 중요한 문제인 데이터 오염 하에서 워샤르스타인 거리 추정의 부족한 강건성 해결.
• 데이터 오염 모델 하에서도 일致성과 수렴성을 유지하는 워샤르스타인 거리에 대한 강건한 추정기 개발.
• MoM 방법론을 워샤르스타인 거리의 이중 공식에 통합하여, 하위가우시안 행동과 외곽값에 대한 저항성을 확보.
• 클리핑된 가중치를 사용하는 신경망을 활용한 MoM 기반 워샤르스타인 추정기 계산을 위한 실용적 알고리즘 설계.
• 노이즈가 있는 데이터 조건 하에서 생성 모델링을 위한 WGAN의 강건성 향상에 제안된 추정기의 유효성 입증.

제안 방법

• 워샤르스타인 거리를 칸토로비치-루빈슈타인 이중성을 통해 재구성하여, MoM을 U-통계량에 적용할 수 있도록 함.
• 세 가지 새로운 MoM 기반 추정기 도입: 이중 목표의 메디안 오브 메디안, 리프시츠 제약이 적용된 이중 목표의 메디안 오브 메디안, 그리고 MoU(Median of U-statistics) 추정기.
• 실 데이터 분포에만 MoM을 적용함(생성된 샘플에는 적용하지 않음), 미니배치 단위로 블록 기반 메디안 계산 수행.
• 메디안 기반 손실 추정을 통해 오염된 미니배치에서 비평가 네트워크를 훈련시키는 MoM/MoU 경사하강법 설계.
• 리프시츠 연속성 확보를 위해 비평가 네트워크에서 가중치 클리핑을 사용하여 표준 WGAN 관행과 일치.
• 모든 훈련 단계에서 블록 기반 메디안 선택 전략을 구현하여 강건성을 확보함. 이는 계산 비용을 증가시키지만 외곽값 저항성을 향상시킴.

실험 결과

연구 질문

• RQ1 메디안 오브 메디안(MoM) 접근법이 워샤르스타인 거리의 이중 공식과 효과적으로 조합되어 오염 상황에서도 강건한 추정기를 도출할 수 있는가?
• RQ2 외곽값 존재 하에서 MoM 기반 워샤르스타인 추정기의 이론적 일치성과 비점근적 수렴 성질은 어떠한가?
• RQ3 실제 적용에서 블록 크기(유일한 튜닝 파rameter)의 선택이 MoM 기반 추정기의 성능과 강건성에 미치는 영향은 어떠한가?
• RQ4 MoM 기반 워샤르스타인 추정이 외곽값 존재 하에서 WGAN의 강건성을 효과적으로 향상시킬 수 있는가?
• RQ5 MoMWGAN은 CIFAR10 및 패션 MNIST와 같은 오염된 벤치마크에서 표준 WGAN에 비해 생성 품질 측면에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 MoM 기반 추정기는 $Γ \cup \mathcal{I}$ 오염 모델 하에서도 강력한 일치성과 하위가우시안 편차 행동을 보임.
• 비점근적 수렴 속도가 유도되어 오염 상황 하에서 유한 표본 성능에 대한 이론적 보장을 제공.
• 오염된 CIFAR10에서 MoMWGAN은 FID 55.9를 기록하여 표준 WGAN의 57과 비교해 강건성이 향상됨.
• 오염된 패션 MNIST에서 MoMWGAN은 FID 13.2를 기록하여 WGAN의 13.8과 비교해 일致한 성능 향상 확인.
• 시각적 검토 결과, MoMWGAN은 표준 WGAN가 픽셀 단위 노이즈 아티팩트를 재현하는 것과 달리 더 깔끔한 이미지를 생성함.
• 민감도 분석 결과, 블록 크기 $K_{\mathbf{X}}$ 가 성능에 상당한 영향을 미치며, 실험에서 $K_{\mathbf{X}} = 4$ 가 최적의 결과를 도출함.