[논문 리뷰] Outlier-Robust Optimal Transport

Debarghya Mukherjee, Aritra Guha외 3명|arXiv (Cornell University)|2020. 12. 14.

Advanced Statistical Process Monitoring참고 문헌 32인용 수 12

한 줄 요약

이 논문은 적대적 이상치의 영향을 완화하기 위해 운반 비용을 잘라내는 방식으로 이상치에 강건한 최적 운반(OT) 공식을 제안한다. 이는 허버 컨터미네이션 모델 하에서 강건한 통계적 추정을 가능하게 하며, 표준 OT와 동일한 형태로 변환되어 기존의 계산적 OT 알고리즘과 원활하게 통합될 수 있다. 실험 결과, 합성 및 실재 데이터에서 평균 추정과 이상치 탐지에서 향상된 성능을 보였다.

ABSTRACT

Optimal transport (OT) measures distances between distributions in a way that depends on the geometry of the sample space. In light of recent advances in computational OT, OT distances are widely used as loss functions in machine learning. Despite their prevalence and advantages, OT loss functions can be extremely sensitive to outliers. In fact, a single adversarially-picked outlier can increase the standard $W_2$-distance arbitrarily. To address this issue, we propose an outlier-robust formulation of OT. Our formulation is convex but challenging to scale at a first glance. Our main contribution is deriving an \emph{equivalent} formulation based on cost truncation that is easy to incorporate into modern algorithms for computational OT. We demonstrate the benefits of our formulation in mean estimation problems under the Huber contamination model in simulations and outlier detection tasks on real data.

연구 동기 및 목표

• 표준 최적 운반(OT)이 이상치에 매우 민감하여 워샤르-2 거리가 임의로 증가할 수 있는 문제를 해결하기 위해.
• 최대 ε 비율의 데이터 포인트가 적대적 이상치일 경우에도 강건한 볼록이고 계산적으로 구현 가능한 OT 공식을 개발하기 위해.
• 현대적인 계산적 OT 방법과의 호환성을 유지하면서도 ε-오염 모델 하에서 강건한 최소 칸토로비치 추정(MKE)을 가능하게 하기 위해.
• 허버 오염 모델 하에서 평균 추정과 실세계 이상치 탐지 과제에서 제안된 공식의 유용성을 입증하기 위해.

제안 방법

• 임계값 λ에서 비용 함수를 잘라내는 방식으로 운반 비용을 수정함으로써, 고비용 운반의 영향을 제한하는 강건한 OT 공식을 제안한다.
• 잘라낸 비용을 사용한 강건한 OT 문제는 편향된 분포에 대한 총변동(TV) 노름 제약 조건을 가진 제약 조건이 있는 OT 문제와 동치임을 증명한다.
• 기존 OT 솔버를 사용할 수 있도록 문제를 수정된 비용 행렬을 가진 표준 OT 문제로 재구성하는 등가 이중 공식을 유도한다.
• 잘라낸 비용 OT와 TV 제약 조건이 있는 OT 간의 등가성을 활용하여 기존 계산적 OT 알고리즘을 사용한 효율적 최적화를 가능하게 한다.
• 생성 모델링 및 오염 하에서의 평균 추정과 같은 MKE 문제에서 표준 OT 대신 강건한 OT 손실을 사용한다.
• 잘라낸 비용 공식 하에서 비정상적으로 높은 운반 비용이 필요한 샘플을 식별함으로써 이상치 탐지에 적용한다.

실험 결과

연구 질문

• RQ1 계산 효율성을 유지하면서도 적대적 이상치에 강건한 최적 운반을 설계할 수 있는가?
• RQ2 기존 계산적 OT 알고리즘과의 통합이 가능한 강건한 OT의 등가 공식이 존재하는가?
• RQ3 허버 ε-오염 모델 하에서 제안된 강건한 OT 공식이 표준 OT 및 기타 발산과 비교해 평균 추정에서 어떻게 성능을 내는가?
• RQ4 강건한 OT 공식을 실세계 데이터셋의 이상치 탐지에 활용할 수 있는가?
• RQ5 강건한 추정의 맥락에서 비용 잘라내기와 TV 제약 조건이 있는 OT 간의 이론적 연결 고리는 무엇인가?

주요 결과

• 비용 잘라내기를 통한 제안된 강건한 OT 공식은 TV 제약 조건이 있는 OT 문제와 수학적으로 동치이며, 이는 이론적 보장을 제공하고 기존 솔버와의 실용적 통합을 가능하게 한다.
• n=1000 및 ε=0.2 조건에서 ε-오염 모델 하에서 평균 추정을 수행한 결과, 오염이 Cauchy(0.1·1₅, I₅)일 경우 ROBOT(본 연구에서 제안한 방법)는 JS 손실 0.17±0.05와 SH 손실 0.17±0.05를 기록하여 표준 OT 및 f-발산 GAN보다 뛰어난 성능을 보였다.
• 더 무거운 오염 상황(Cauchy(2·1₅, I₅))에서는 ROBOT가 JS 손실을 0.39±0.3으로 줄였고, 기준선인 f-발산 GAN은 0.26±0.06의 더 높은 손실을 기록하여 더 강건한 성능을 입증했다.
• 잘라낸 비용 공식 하에서 비정상적으로 높은 운반 비용이 필요한 데이터 포인트를 식별함으로써, 본 방법은 이상치 탐지에 성공적으로 활용되었다.
• 이론적 분석을 통해 표준 OT가 이상치에 대해 비유계로 민감할 수 있음에도 불구하고, 잘라낸 비용 공식은 이러한 민감도를 피할 수 있음을 확인했다.
• 실재 데이터에 대한 경험적 결과는 강건한 OT 공식이 효과적인 이상치 탐지가 가능하며, 기존 방법과 비교해 유사하거나 더 뛰어난 성능을 보임을 보여주었다.